La caché de prompts almacena secciones repetidas de solicitudes de IA para que los sistemas eviten volver a calcular los mismos tokens en cada llamada. La técnica aparece en API de proveedores como Anthropic y OpenAI. Ayuda a las aplicaciones que envían contexto similar de forma repetida. Los desarrolladores notan facturas más bajas y respuestas más rápidas cuando el mismo texto de fondo aparece en varias solicitudes.
Límites y verificación
La caché reutiliza cálculos de un prefijo repetido elegible, no una respuesta guardada. Detección automática, controles, umbrales, retención y precios varían por proveedor y modelo. Las entradas y escrituras aún pueden cobrarse. Mide aciertos, costo total y latencia con la misma carga; no supongas ahorros fijos ni respuestas deterministas.