プロンプトキャッシュは、AIプロンプト内で繰り返される部分を保存し、呼び出すたびに同じトークンを再計算することを防ぎます。この技術はAnthropicやOpenAIなどのプロバイダーが提供するAPIに採用されています。似た文脈を繰り返し送るアプリケーションに有効です。複数のリクエストで同じ背景文が使われると、開発者は料金の低下と応答の高速化を実感できます。
制限と検証
キャッシュは条件を満たす共通接頭部分の計算を再利用し、回答を保存するものではありません。自動判定、明示的指定、トークン条件、保持期間、料金は提供者とモデルで異なります。入力や書き込みにも料金が発生し得ます。同じ処理でヒット数、総費用、遅延を測り、一定の節約や同一回答を前提にしないでください。