Le cache de prompts stocke les sections répétées des prompts d’IA afin que les systèmes évitent de recalculer les mêmes jetons à chaque appel. Cette technique est proposée dans les API de fournisseurs tels qu’Anthropic et OpenAI. Elle aide les applications qui envoient souvent un contexte similaire. Lorsque le même texte de référence apparaît dans plusieurs requêtes, les développeurs constatent des factures plus basses et des réponses plus rapides.
Limites et vérification
Le cache réutilise les calculs d’un préfixe répété admissible, pas une réponse enregistrée. Détection automatique, contrôles, seuils de tokens, conservation et tarifs dépendent du fournisseur et du modèle. Les entrées et écritures peuvent rester facturées. Mesurez les accès, le coût total et la latence à charge identique ; ne présumez ni économies fixes ni réponses déterministes.