LangChainが10月13日に発表したScaleDown統合は、エージェントの主要な判断役ではなく、補助作業を行うモデルを変える。新しいlangchain-scaledownパッケージはLangChainとDeep Agentsを特化型の制約付きデコーディングモデルにつなぐ。計画、コーディング、草稿作成、自由形式の生成は主モデルが担い続ける。
その主張は、反復的な文脈整理に難しい推論と同じフロンティアモデルを使う必要はないというものだ。ただしミドルウェアは入力の大きさだけでなく意味も変える。要約、選別、抽出後もエージェント全体が正しい結果を出せるかが価値を決める。文書が短くなるだけでは十分でない。
四つのモデルと四つの接続経路
統合発表は四つの特化モデルを紹介する。Summarizeは古い会話を要約し、Compressは質問に関連する資料を選び、Extractは原文の指定フィールドを写し、Classifyは開発者定義のラベルを採点する。制約付きデコーディングは任意生成ではなく限定した操作に回答空間を絞る。
パッケージの経路は履歴要約、一般文脈圧縮、ツール結果圧縮、構造化抽出だ。四モデル全部が既製の安全ミドルウェアとして付属するという意味ではない。Classifyの進行・ループ・逸脱という例も、ラベル、評価基準、確信度閾値、是正動作を開発者が決める。完成済みの逸脱検出器は今回含まれない。
ScaledownSummarizationMiddlewareは設定した履歴閾値で作動し、古いメッセージを置き換え、最近の一部を原文のまま残す。意図、進捗、成果物、次の手順を要約できる。Deep Agentsは退避した履歴を再読用ファイルに保存する。ただし復旧経路があることは、原文が必要な時をエージェントが認識する保証ではない。
ScaledownToolCompressionMiddlewareは必要情報を示すcompression_queryを追加し、実際のツール実行前に除き、主モデルに渡す前に応答を圧縮する。欧州の返金質問なら返品規則全体でなく例外一つが必要かもしれない。不十分なら元の結果を再取得できるが、早過ぎる関連性判断は後で必要な事実を隠す可能性がある。
ScaledownExtractionMiddlewareはユーザーメッセージから注文ID、正確なエラー、メール、問題分類などを状態へ抽出し、後続ツールに渡す。エージェントの返答は対象にせず、自身の推測をユーザー由来の証拠にするリスクを抑える。ない項目は空欄だ。正確なエラーコードの複写は、もっともらしい代替値の生成より評価対象が明確である。
一般文脈圧縮は大きなシステムプロンプトにも使う。文書は短いプロンプトや創作用途を避けるよう警告する。必要な語調、指示、詳細が消え得るからだ。特化処理の組み合わせであり、主モデルからの全面移行ではない。
具体例の削減率は約90%ではなく83.1%
LangChainの例では文書結果が18,402文字から3,110文字になる。15,292文字、約83.1%の削減で、16.9%が残る。一つのトレースの文字数であって、実測トークン削減率、精度保証、汎用的なエージェント節約率ではない。
反復費用という論理は重要だ。コードエージェントは検索、テストログ、ファイル、過去の失敗を次の要求に何度も持ち越す。永続履歴に入れる前の圧縮は初回だけでなく後の複数呼び出しを変える。大きな文脈窓も無関係な資料を有用、無料にはしない。
ScaleDownは各四モデルが最大100万入力トークンを扱うとしている。LangChainによればExtract、Summarize、Classifyは画像とスキャンPDFも受け付ける。アプリ側の分割を減らせても、文書構造とタスク品質が有用性を左右する。容量は精度の保証ではない。
ゲートウェイで見えても追加事業者は残る
ScaleDownは/scaledownでLangSmith LLM Gatewayにも入る。管理者がプロバイダーキーを保存し、アプリはLangSmithで認証する。直接接続経路は別事業者の形式に変換せず、ScaleDown固有の要求と応答を保持する。
LangSmithは認証、秘密情報、ポリシー、追跡を扱う。補助呼び出しは主モデルと並べて表示でき、ワークスペース支出とレート制限に算入される。発動頻度、追加遅延、総推論費用のどの程度が影響を受けるかを確認できる。
パッケージ情報は必要な文章だけをScaleDownへ送り、パッケージのテレメトリーはないとする。データがアプリから出ない意味ではない。古い会話、選択したツール結果、ユーザーIDや連絡先、分類用履歴を扱う処理者が増える。各社の保存、所在地、安全、監査、契約条件の確認は必要だ。
フェイルオープンは動作の同一性を保証しない
四経路はすべてフェイルオープンで、拒否、停止、割当枯渇時には結果なしでエージェントを続行する。補助最適化が主処理を自動的に止めずに済む。
しかしフォールバックは重要だ。圧縮失敗は費用を増やし、上限近くの要約失敗は変更なしの履歴を容量限界へ近づける。抽出失敗で後続ツールに必要な欄が欠ける可能性もある。アプリは本当に値がない場合と抽出サービス停止を区別すべきだ。稼働率だけでは違いを見落とす。
利用条件にも境界がある。sd_summarizeはScaleDownによる有効化が必要な非公開プレビューと説明される。宣伝された全経路が同条件ですぐ使えるとは限らない。
大きな倍率はベンダーの測定値
LangChainは限定タスクで最大200倍の速度、費用が467分の1というScaleDownの主張を引用する。ベンダー比較は掲載したOpenAI三モデルの平均に対し、Summarizeを費用41分の1、速度2.7倍、Compressを費用138分の1、速度1.8倍とする。精度向上も同じベンダー選定のデータ、構成、価格、遅延環境による。
独立検証された本番エージェント全体の節約ではない。主モデル、検索、ツール、追跡、基盤は残る。短い一回の呼び出しは余地が小さく、長文反復処理には大きい。ネット要求も増え、配置と並行性がユーザーの総待ち時間を左右する。
損失を伴う圧縮は数手後に必要な法令遵守上の例外を消し得る。要約の再要約は意図、確信、因果履歴を変え得る。復旧ファイルも読まれて初めて役立つ。完全な処理履歴で事実保持、正確な欄、妥当な完了、下流エラー、再試行、復旧頻度、総遅延を比べる必要がある。補助呼び出し単価より成功タスク単価が重要だ。
キャッシュと永続記憶は同じ代替品ではない
OpenAIのキャッシュ指針は文脈を消さず、一致する接頭辞の計算状態を再利用する。圧縮は後の入力自体を減らす。併用できるが、要約による早い接頭辞の変更は以降のキャッシュヒットを失わせ得る。安定性と本来の再利用回数で収支が変わる。
Anthropicの長時間エージェント研究は、整理だけでは窓をまたぐ進捗を保証しないとする。永続成果物、進捗記録、一貫したタスク分解、復旧も必要だ。それらのファイルと安定指示のキャッシュ、ツール圧縮、履歴要約は併用できる。
原文を能動文脈の外に残すことも再取得を可能にする。元記事の関連知識ベース解説は検索できるローカル技術資料を扱う。背景資料でありScaleDownの性能証拠ではない。
フレームワークのルーティングは複数社を制御できる反面、接続先、認証、制限、障害形態を増やす。ネイティブなキャッシュ、整理、安価な特化接続先は、部品の少ない競合手段だ。再現できる意味評価、失敗経路を含む本番トレース、他社の対応が採用を決める。最大の意義は操作ごとのモデル選択であって、大型モデル不要論や、短い文脈だけで安価かつ正しい完了が証明されることではない。