智能体即使返回成功状态，也可能辜负用户：忽略工具错误后宣称完成任务，或对取消请求给出相互矛盾的指示。LangSmith 10月13日宣布的 AI Search 公开测试版，允许调查者描述这类行为，而不必先猜中错误码、标签或精确词句。
这在持久评估器建立之前增加了探索步骤，也在调查者与执行记录之间引入另一个模型。功能价值取决于该模型实际收到什么证据，而不只是搜索界面的表达是否流畅。
搜索不仅问提到什么，还问发生了什么
LangChain 的公告举例包括不满的用户、泄露实现细节，以及未完成工作的智能体。搜索覆盖单次运行、追踪记录和对话线程：追踪记录包含请求及嵌套操作，线程则连接同一对话的多条追踪。
现有结构化筛选器先缩小候选范围。状态、延迟、标签、元数据、成本和反馈仍应由这些筛选器处理；自然语言描述无法推断运行状态、标签、元数据或追踪结构。独特标识符、词句和错误仍适合全文搜索。行为搜索增加的是对选中记录内消息与动作的解释。
决策模型并行读取候选轨迹，找到匹配后流式返回。这不只是按主题查找的嵌入搜索。成功与失败的账单对话可能有几乎相同的词汇和相近向量；判断完成声明是否符合实际行动，需要理解顺序和含义。
匹配带有置信度分数，并可在轨迹视图中高亮可定位的关键消息。置信度不是事实。讽刺、反复提问、悄然放弃和礼貌拒绝，即使人工审阅也可能有分歧。并非所有匹配都能高亮：重复文字与视图中缺失的消息可能妨碍证据定位。没有完整理由的高分本身，不是可审计的调查结论。
标准化消除重复，不等于消除覆盖缺口
智能体遥测包括模型调用、用户消息、检索文档、命令、工具结果、重试与交接。每次模型调用都携带完整历史，会使简单的追踪表示反复记录相同旧内容。
LangChain 检查了150个随机抽取的 Open SWE 编程智能体对话，报告中位数约72,000个token，用户消息和最终回复仅约2,000个，工具输出约占85%；数个对话超过100万token。这是公司样本，不是独立行业基准，更不是 AI Search 准确率评估。
SmithDB 数据层在追踪到达时统一受支持的格式，通过用户消息、智能体回复、工具调用与结果，把同一会话呈现一次。支持来源包括 LangChain、LangGraph、OpenAI 与 Anthropic SDK、Vercel AI SDK 及 OpenTelemetry。统一轨迹让跨格式调查可行，不必重复呈现同一历史。
8,000-token的优先序决定裁判会漏掉什么
每条轨迹有8,000个token的上下文预算。用户消息和智能体直接回复优先级最高；中间模型消息、工具调用、工具结果和系统消息填充剩余空间。下一条消息放不下就被裁剪，预算用完后，后续材料不再进入模型视野。
这有利于发现不满、拒绝、困惑和无依据承诺等对话证据。但若决定性矛盾在工具结果里，就会形成可预见的问题。授权失败能证明动作没有完成，高优先级对话却可能在裁判看到它之前耗尽预算。因此，高置信匹配或没有匹配，都不能证明执行证据已被完整覆盖。
这种表示还排除了子代理、中间件和上下文压缩消息内容。父代理可以报告成功，而子代理在不可检索内容里记录实际失败。仅增加主对话预算，并不会自动加入被排除的类别。
LangChain 表示正在探索按查询选择上下文，以及提示何时需要第二次处理。忽略错误的查询应优先工具证据，情绪查询则应优先对话。这些是开发方向，不是当前固定排序已经实现的能力。
区域可用，不等于推理留在同一区域
测试版可用于 Google Cloud 美国、欧洲和亚太区域的 LangSmith Cloud。组织管理员为所有成员启用，无需单独的模型供应商密钥。
启用 AI Search 即允许追踪数据通过 LangChain 管理的推理服务和子处理商传至美国并在那里处理。欧洲区域客户也适用；不能将区域部署选择写成 AI Search 推理留在本区域的保证。
LangChain 明确要求不要将 AI Search 用于受保护健康信息，且该功能不受与 LangChain 签署的任何 Business Associate Agreement（BAA）覆盖。一般个人身份信息泄漏审查，不等于获准处理受监管健康数据；搜索本身就可能把敏感追踪发给裁判。
因此，管理员启用前须评估保留期限、访问、驻留地和子处理商要求。丰富追踪可能捕获提示词、客户记录、检索文档和工具输出；采集前最小化敏感字段，比指望搜索事后去除更能降低暴露。
探索尚不是可重复的监控控制
筛选文档列出重要测试版限制：AI Search 描述不能保存为视图，也不能保留在复制的页面链接里；不会出现在最近筛选历史中，查询启用时统计面板不可用。速率限制按工作区实施，但所引文档没有公开阈值。
团队可以在别处记录原样措辞，但会增加手工工作，也不保证得到相同分类。细微表达变化就可能改变主观类别。保存搜索、稳定结果集与公开限额，对事故响应是有意义的改进，不是自然语言输入框已经解决的细节。
公开资料没有精确率、召回率、延迟分布，也没有与嵌入检索和预设评估器的独立比较。看似合理的匹配可能伴随罕见但严重的漏报。评估应包含已知事故、困难负例和不同框架，同时检查误报与漏报。
长期价值在于找到匹配后做什么
客服团队可以搜索“智能体声称解决后用户仍重复请求”，继而发现它混淆了关闭账户与取消订阅。审阅后的案例可形成数据集与经测试的评分准则，再由在线评估器持续衡量未来流量。搜索发现类别，监控在定义稳定后应用类别。
竞争者已经结合追踪与模型判断。Datadog 的追踪级评估把追踪跨度放入裁判提示，评估目标完成、工具顺序和对话质量。Arize Phoenix 的追踪流程连接标注、评估、数据集与实验。LangSmith 的区别在于团队尚未正式定义故障时就能即时探索，而非发明了模型评估。
让碎片化证据可检索，在可观测性之外也重要。原稿的知识库相关阅读讨论可搜索技术记录。这是背景材料，不是 AI Search 质量基准。
聚合重复匹配与自适应证据选择，可能提升发现价值。LangChain 描述了这些方向，竞争也可能转向可审计证据、可复现性与治理。当前，高影响匹配仍须对照底层记录确认，敏感信息搜索不能替代确定性扫描或正式控制。此次发布改变了何时能提出行为问题，却未证明每个答案都完整、可复现，或能安全地自动执行。