エージェントは成功ステータスを返しても利用者の要求に失敗し得る。ツールエラーを無視して完了を宣言したり、解約要求に矛盾した案内を返したりする。10月13日発表のLangSmith AI Search公開ベータは、エラー番号やタグ、正確な語句を先に推測せず、そうした行動を記述して探せる。
永続的な評価器を作る前の探索段階となる一方、調査者と実行記録の間に別のモデルを置く。価値を決めるのは自然な検索画面だけでなく、モデルに実際に届く証拠だ。
言及した話題だけでなく、何が起きたかを問う
LangChainの発表は不満、実装詳細の開示、未完了の作業を例示する。単独実行、トレース、スレッドを検索できる。トレースは要求と入れ子の操作、スレッドは同じ会話の複数トレースを結ぶ。
既存の構造化フィルターが候補を絞る。状態、遅延、タグ、メタデータ、費用、評価は引き続きそちらの役割で、自然言語から実行状態、タグ、メタデータ、構造を推定はできない。特徴的なID、語句、エラーには全文検索も有効だ。行動検索は絞った集合のメッセージと動作の解釈を加える。
判定モデルが候補軌跡を並列に読み、一致を逐次返す。単なる主題の埋め込み検索ではない。請求対応の成功と失敗は語彙もベクトルも似得る。完了の主張と実行の一致には順序と意味の判断が要る。
一致には信頼度が付き、軌跡ビューで位置を特定できた重要メッセージを強調する。信頼度は事実ではない。皮肉、反復質問、静かな離脱、丁寧な拒絶は人でも判断が分かれる。反復テキストや表示されないメッセージのため、すべての一致を強調できるわけでもない。理由が完全でない高得点だけでは監査可能な結論にならない。
正規化で重複は減るが、欠落はなくならない
テレメトリーにはモデル呼び出し、利用者発言、取得文書、コマンド、ツール結果、再試行、引き継ぎがある。毎回全履歴を送れば、単純な表現では過去の同じ内容が何度も保存される。
LangChainはOpen SWEのコードエージェントから150会話を無作為抽出し、中央値約72,000トークン、利用者発言と最終回答約2,000、ツール出力約85%と報告した。100万を超える会話も複数あった。会社の標本であり、独立した業界基準でもAI Searchの精度評価でもない。
SmithDB層は到着した対応形式を正規化し、人間の発言、回答、ツール呼び出しと結果として会話を一度表示する。LangChain、LangGraph、OpenAI・Anthropic SDK、Vercel AI SDK、OpenTelemetryが対象だ。形式をまたいで同一履歴を繰り返さず調べられる。
8,000トークンの順序が判定の見落としを決める
各軌跡の予算は8,000トークン。利用者発言と直接回答が最優先で、中間モデルメッセージ、ツール呼び出し、結果、システムメッセージが残りを埋める。次が収まらなければ切り詰め、満杯になった後の内容は視野外になる。
不満、拒否、混乱、根拠のない約束といった対話には有利だ。一方、決定的な矛盾がツール結果にあると問題になる。認可失敗は操作未完了の証拠でも、上位の会話が先に予算を消費する場合がある。高信頼の一致も不一致も、実行証拠を全て見たことにはならない。
子エージェント、ミドルウェア、コンパクションメッセージの内容も除外される。親が成功を報告しても、子の実際の失敗は検索外に残り得る。主会話の予算を増やすだけでは除外区分は加わらない。
LangChainはクエリ別の選択や二巡目が必要な時の通知を検討中とする。無視されたエラーはツール、感情は対話を優先すべきだが、これは開発方向であり現状の固定順序の実現済み能力ではない。
地域で利用できても、その地域で推論するとは限らない
ベータはGoogle Cloudの米国、欧州、アジア太平洋のLangSmith Cloudで利用できる。管理者が全組織メンバー向けに有効化し、別のモデル事業者キーは不要だ。
有効化するとLangChain管理の推論と再委託先を通じ、トレースが米国へ移送され処理されることを許可する。欧州リージョンの顧客も対象だ。地域展開の選択をAI Searchの推論がその地域に残る保証にしてはならない。
LangChainは保護対象医療情報にAI Searchを使わないよう明記し、締結済みのBusiness Associate Agreement（BAA）もこの機能を対象としない。一般の個人識別情報漏えい調査は、規制対象医療データの処理許可ではない。検索自体が機密トレースを判定器へ送る。
管理者の有効化前に保存、アクセス、所在地、再委託の条件を確認する必要がある。豊富な追跡はプロンプト、顧客記録、取得文書、ツール結果を含む。検索で事後除去するのではなく収集前に機密欄を最小化する方が露出を減らす。
探索はまだ反復可能な監視ではない
フィルター文書には重要な制限がある。説明はビューとして保存できず、コピーしたリンクにも残らない。最近のフィルター履歴にも出ず、クエリ実行中は統計パネルが使えない。レート制限はワークスペース単位だが参照資料は閾値を公表していない。
同じ文言を別途記録できても手作業が増え、同一分類の保証にはならない。小さな言い換えが主観的分類を変え得る。検索保存、安定結果、制限の公表は事故対応上の改善であって、自然言語入力欄だけで解決済みではない。
公開資料には適合率、再現率、遅延分布や、埋め込み・既存評価器との独立比較がない。もっともらしい一致の陰で重大なまれな失敗を逃し得る。既知の事故、難しい負例、異なるフレームワークで誤検出と見逃しを調べる必要がある。
一致の後をどう使うかに持続的価値がある
サポートは「解決宣言後に要求を繰り返す利用者」を探し、アカウント閉鎖と定期購入解約の混同を発見できる。確認した例をデータセットと試験済み基準にし、オンライン評価器で将来の流量を測る。検索が種類を発見し、定義が安定した後で監視が適用する。
競合も追跡とモデル判定を組み合わせている。Datadogのトレース単位評価はスパンを判定プロンプトに入れて目標完了、ツール順、対話品質を見る。Arize Phoenixの追跡フローは注釈、評価、データ、実験をつなぐ。LangSmithの違いは、故障を正式定義する前のその場の探索であって、モデル評価の発明ではない。
断片的証拠の検索可能性は監視外でも重要だ。元記事の知識ベース関連記事は技術記録を扱う。背景資料で、AI Searchの品質基準ではない。
繰り返す一致の集約と適応的選択は発見を改善し得る。LangChainはその構想を示し、競争は監査可能性、再現性、ガバナンスへ移る可能性がある。今は重要な一致を元記録で確認し、機密情報検索を決定論的スキャンや正式な統制の代わりにしてはならない。行動を問う時点は変わったが、全ての答えが完全、再現可能、自動執行に安全とは証明されていない。