Prompt-Caching speichert wiederkehrende Abschnitte von KI-Prompts, sodass Systeme dieselben Tokens nicht bei jedem Aufruf erneut berechnen müssen. Die Technik findet sich in APIs von Anbietern wie Anthropic und OpenAI. Sie hilft Anwendungen, die ähnlichen Kontext wiederholt senden. Entwickler bemerken niedrigere Kosten und schnellere Antworten, wenn derselbe Hintergrundtext in mehreren Anfragen erscheint.
Grenzen und Überprüfung
Caching verwendet Berechnungen für einen geeigneten wiederholten Präfix, keine gespeicherte Antwort. Automatik, Cache-Steuerung, Tokenschwellen, Aufbewahrung und Preise unterscheiden sich nach Anbieter und Modell. Auch Cache-Eingaben und Schreibvorgänge können Kosten verursachen. Messen Sie Treffer, Gesamtkosten und Latenz bei gleicher Arbeitslast; setzen Sie weder feste Einsparungen noch deterministische Antworten voraus.