A token is the basic unit of text an LLM processes. It can be a word, part of a word, or even a space. Roughly, 1000 tokens ≈ 750 words.

What is the Context Window?

The maximum amount of text (prompt + response) an LLM can consider at one time. Once exceeded, the model "forgets" the earliest parts of the conversation.

✨

GenAI & LLM Fundamentals

Core concepts of Generative AI and Large Language Models, from architecture to tokenization.

Articoli

✨Topic Hub

🏁

Inizia Qui

Segui questo percorso consigliato

Definition

What is GenAI & LLM Fundamentals?

Questo argomento copre i meccanismi fondamentali della Generative AI e dei Large Language Models. Esplora l'architettura Transformer (meccanismi di Attention), la Tokenizzazione (come il testo diventa numeri) e la pipeline di addestramento (Pre-training vs. Fine-tuning vs. RLHF). Comprendere queste basi è fondamentale per il debugging del perché i modelli si comportano in quel modo.

Strategie

Debugging del Comportamento: Quando devi capire perché un modello si ripete, ha allucinazioni o ignora le istruzioni.
Selezione del Modello: Determinare se usare un modello open-weights (Llama 3, Mistral) o un'API chiusa (GPT-4, Claude) in base al conteggio dei parametri e alle capacità.
Ottimizzazione: Quando devi ottimizzare per latenza, costi o utilizzo della finestra di contesto.

Rischi / Errori comuni

La Fallacia della "Base di Conoscenza": Trattare un LLM come un database di fatti piuttosto che come un motore di ragionamento.
Ignorare la Tokenizzazione: Non tenere conto di come i prompt vengono tokenizzati può portare a costi imprevisti e overflow della finestra di contesto.
Incomprensione della Temperatura: Usare alta temperatura (creatività) per compiti che richiedono logica deterministica, o viceversa.

FAQ

Cos'è un Token?

Un token è l'unità base di testo che un LLM elabora. Può essere una parola, parte di una parola o anche uno spazio. Approssimativamente, 1000 token ≈ 750 parole.

Cos'è la Finestra di Contesto?

La quantità massima di testo (prompt + risposta) che un LLM può considerare in una volta. Una volta superata, il modello "forgets" le parti più vecchie della conversazione.

📖

Guide & Approfondimenti

⚡ MidwayJan 31, 202613 min lettura

LLM Practical Fundamentals: Your No-Hype Guide to Real-World AI Apps

Master LLM practical fundamentals: tokens, context windows, and tool use. Build reliable, cost-effective AI applications with this actionable guide to context engineering.

Leggi articolo

🌱 NewbieNov 27, 20245 min lettura

What is Behind ChatGPT? Exploring the Technology Behind Generative AI Tools

Discover what powers ChatGPT! Learn about the technology behind this revolutionary AI tool, including Transformers, LLMs, and real-world applications, explained simply for everyone

Leggi articolo

🌱 NewbieSep 5, 20244 min lettura

What is an LLM (Large Language Model)? A Simple Explanation

Learn what an LLM (Large Language Model) is in simple terms. Discover how these AI tools work, their real-life examples, and why they’re transforming technology

Leggi articolo

⚡ MidwayAug 16, 202312 min lettura

The Power of Prompt Engineering Unlocking AI Potential

Unlock the potential of AI with effective prompt engineering. Learn how to craft prompts that shape AI behavior and maximize its potential

Leggi articolo

🔬 Expert58 min lettura

Natural Language Processing course

Comprehensive guide to Natural Language Processing, from the basic topics to some of the most difficult and interesting ones.

Leggi articolo