Una finestra di contesto è l'insieme di informazioni che un modello può prendere in considerazione durante una singola generazione. Include istruzioni, cronologia della conversazione, documenti recuperati, descrizioni degli strumenti, risultati degli strumenti, immagini rappresentate come token e spazio riservato alla risposta. È più vicina alla memoria di lavoro che alla conoscenza appresa dal modello.
Questa distinzione evita un errore comune. Un modello può conoscere un concetto generale dall'addestramento ma non possedere il fatto privato necessario al tuo compito. Può accadere anche il contrario: il fatto è presente nel contesto, ma il modello non riesce a notarlo o applicarlo quando la richiesta è affollata da materiale irrilevante.
Ogni token compete per l'attenzione. Una finestra ampia permette a un'applicazione di inviare più materiale, ma non garantisce richiamo o ragionamento uniformi su tutto quel materiale. Prove importanti possono diventare difficili da trovare, passaggi ripetuti possono distorcere una risposta e lunghi output degli strumenti possono scalzare le istruzioni che definiscono il successo.
Pianifica il budget partendo dall'output. Riserva spazio sufficiente per la risposta e per qualunque attività di ragionamento o degli strumenti che il modello possa generare. Poi assegna spazio alle istruzioni stabili, alla domanda corrente, allo stato recente della conversazione e alle prove di supporto. Non riempire la capacità rimanente soltanto perché esiste.
Preferisci contesto ad alto segnale. Per una domanda su documenti, includi i passaggi pertinenti con titoli, date e identificatori delle fonti. Per un compito di programmazione, includi le interfacce, i test, l'output degli errori e l'implementazione vicina invece dell'intero repository. Per un agente, rendi disponibili riferimenti leggeri che possa ispezionare quando necessario, anziché caricare in anticipo ogni possibile risorsa.
Le conversazioni lunghe richiedono una strategia esplicita per lo stato. La compattazione riassume il lavoro precedente in un artefatto più piccolo. Le note strutturate conservano decisioni, vincoli, domande aperte e passaggi completati al di fuori della trascrizione immediata. Il recupero riporta soltanto ciò di cui ha bisogno l'azione successiva. Questi approcci scambiano la cronologia letterale con una coerenza continua.
La compattazione può perdere dettagli, perciò il riassunto dovrebbe distinguere fatti durevoli da osservazioni temporanee. Registra identificatori, percorsi, decisioni, link alle prove e rischi irrisolti esatti. Conserva gli artefatti importanti — test, specifiche, dati e output finali — nella loro forma nativa, invece di affidarti a un riassunto conversazionale per riprodurli.
Il caching dei prompt può ridurre costi o latenza per prefissi ripetuti, ma i token memorizzati nella cache occupano comunque la finestra di contesto. La cache modifica il modo in cui l'input ripetuto viene elaborato o fatturato; non trasforma la finestra in memoria illimitata.
L'uso degli strumenti aggiunge un'altra pressione. Schemi, risultati, schermate e ragionamento intermedio consumano capacità. Elimina i risultati obsoleti degli strumenti quando la piattaforma lo consente, riassumi gli output grandi e conserva riferimenti alle prove grezze. Un agente utile dovrebbe poter riaprire una fonte invece di portarsi dietro ogni byte per sempre.
Valuta la progettazione del contesto con input lunghi realistici. Posiziona i fatti importanti in punti diversi, aggiungi distrattori plausibili e prova domande successive dopo più chiamate agli strumenti. Misura non solo se il modello sa citare un fatto, ma anche se applica la versione corretta e cita la fonte giusta.
Il contesto migliore non è il contesto massimo. È il più piccolo insieme di lavoro corrente che preserva obiettivo, vincoli, prove e prossima decisione. Finestre più grandi ampliano ciò che è possibile; una progettazione accurata del contesto determina ciò che resta affidabile.
Uniamo fonti primarie, documentazione dei prodotti e scenari d'uso reali per aiutarti a capire se uno strumento è adatto al tuo flusso di lavoro.