Il caching dei prompt archivia sezioni ripetute dei prompt dell'IA, così i sistemi evitano di ricalcolare gli stessi token a ogni chiamata. La tecnica compare nelle API di fornitori come Anthropic e OpenAI. Aiuta le applicazioni che inviano ripetutamente contesti simili. Gli sviluppatori notano bollette più basse e risposte più veloci quando lo stesso testo di base compare in più richieste.
Limiti e verifica
Il cache riutilizza calcoli per un prefisso ripetuto idoneo, non una risposta salvata. Rilevamento automatico, controlli, soglie di token, conservazione e prezzi variano per fornitore e modello. Input e scritture possono ancora essere fatturati. Misura utilizzo, costo totale e latenza con lo stesso carico; non presumere risparmi fissi o risposte deterministiche.