什么是提示缓存？AI 应用如何降低成本与延迟：实用指南

提示缓存会存储 AI 提示词中重复的部分，使系统不必在每次调用时重新计算相同词元。Anthropic、OpenAI 等提供商的 API 都采用了这项技术。它帮助应用反复发送相似语境；当多个请求中出现相同背景文字时，开发者会看到更低账单和更快回复。

限制与验证

缓存复用符合条件的重复前缀计算，并不是保存答案。自动识别、显式缓存控制、令牌门槛、保留时间和价格因提供商及模型而异。缓存输入和写入仍可能收费。用同一工作负载测量缓存命中令牌、总费用和延迟，不要假定固定节省比例或确定性答案。