Buforowanie promptów zapisuje powtarzające się części poleceń AI, aby system nie musiał ponownie obliczać tych samych tokenów przy każdym wywołaniu. Technika występuje w interfejsach dostawców takich jak Anthropic i OpenAI. Pomaga aplikacjom wielokrotnie wysyłającym podobny kontekst. Gdy ten sam tekst tła pojawia się w wielu żądaniach, programiści zauważają niższe rachunki i szybsze odpowiedzi.
Ograniczenia i weryfikacja
Buforowanie ponownie wykorzystuje obliczenia dla odpowiedniego wspólnego prefiksu, a nie gotową odpowiedź. Automatyczne wykrywanie, ustawienia, progi tokenów, okres przechowywania i ceny zależą od dostawcy i modelu. Odczyt i zapis mogą nadal kosztować. Mierz trafienia, całkowite opłaty i opóźnienie przy tym samym obciążeniu; nie zakładaj stałych oszczędności ani identycznych odpowiedzi.