프롬프트 캐싱은 AI 프롬프트에서 반복되는 부분을 저장해 시스템이 호출할 때마다 같은 토큰을 다시 계산하지 않게 합니다. Anthropic과 OpenAI 같은 제공자의 API에서 볼 수 있습니다. 비슷한 맥락을 반복해서 보내는 애플리케이션에 유용하며, 여러 요청에 같은 배경 텍스트가 등장할 때 개발자는 비용 감소와 응답 속도 향상을 체감합니다.
한계와 검증
캐싱은 조건에 맞는 반복 접두부의 계산을 재사용하며 답변을 저장하는 기능이 아닙니다. 자동 감지, 캐시 설정, 토큰 기준, 보존 시간과 가격은 제공업체와 모델마다 다릅니다. 캐시 입력과 쓰기에도 요금이 발생할 수 있습니다. 동일한 작업에서 적중 토큰, 총비용과 지연 시간을 측정하고 일정한 절감이나 동일한 답변을 가정하지 마세요.