O cache de prompts armazena trechos repetidos para evitar que o sistema reprocesse os mesmos tokens em cada chamada. A técnica aparece em APIs de fornecedores como Anthropic e OpenAI e ajuda aplicações que enviam contextos semelhantes repetidamente. Quando o mesmo texto de fundo aparece em várias solicitações, desenvolvedores percebem contas menores e respostas mais rápidas.
Limitações e verificação
O cache reutiliza cálculos de um prefixo repetido elegível, não uma resposta salva. Detecção automática, controles, limites de tokens, retenção e preços variam conforme o fornecedor e o modelo. Entrada em cache e gravações ainda podem ser cobradas. Meça acertos, custo total e latência com a mesma carga; não presuma economia fixa nem respostas determinísticas.
Leituras relacionadas