Um agente pode retornar status de sucesso e falhar com o usuário. Pode ignorar um erro de ferramenta e anunciar conclusão, ou responder a cancelamento com instruções contraditórias. A beta pública LangSmith AI Search, anunciada em 13 de outubro, permite descrever esse comportamento em vez de adivinhar código, rótulo ou expressão exata.
Cria uma etapa exploratória antes de um avaliador permanente, mas coloca outro modelo entre investigador e registro. A utilidade depende das provas que esse modelo recebe, não só de uma interface fluente.
Buscar o que aconteceu, não apenas o tema mencionado
O anúncio cita frustração, detalhes de implementação expostos e trabalho não concluído. A busca abrange execuções, rastros e threads. Um rastro registra pedido e operações aninhadas; uma thread conecta rastros da conversa.
Filtros estruturados primeiro reduzem candidatos. Status, latência, tags, metadados, custos e feedback continuam sendo sua função. A descrição natural não infere status, tags, metadados ou estrutura. Texto completo continua útil para identificador, expressão ou erro distinto. A busca comportamental interpreta mensagens e ações no conjunto escolhido.
Um modelo decisor lê trajetórias em paralelo e transmite correspondências. Não é apenas busca temática por embeddings. Conversas de cobrança bem-sucedidas e fracassadas podem compartilhar vocabulário e vetores próximos. Comparar a afirmação de conclusão com as ações exige julgamento sobre sequência e significado.
Resultados têm confiança e abrem uma visualização com mensagens influentes localizáveis. Confiança não é verdade. Sarcasmo, repetição, abandono silencioso e recusa educada dividem até humanos. Texto repetido e mensagens ausentes podem impedir destaque. Uma pontuação sem justificativa completa não é, sozinha, uma conclusão auditável.
Normalizar remove repetição, não todas as lacunas
A telemetria contém chamadas, mensagens, documentos, comandos, resultados, tentativas e transferências. Enviar histórico completo a cada chamada repete materiais antigos numa representação ingênua.
A LangChain examinou 150 conversas aleatórias do Open SWE. Relata mediana próxima de 72.000 tokens, somente 2.000 de mensagens do usuário e respostas finais e cerca de 85% de ferramentas. Várias ultrapassaram um milhão. É amostra interna, não referência independente do setor nem avaliação de precisão AI Search.
A camada SmithDB normaliza formatos compatíveis na chegada e apresenta uma vez mensagens, respostas, chamadas e resultados. Suporta LangChain, LangGraph, SDKs OpenAI e Anthropic, Vercel AI SDK e OpenTelemetry. Isso permite investigar entre formatos sem repetir o histórico.
A ordem de 8.000 tokens determina o que o juiz perde
Cada trajetória recebe 8.000 tokens. Mensagens do usuário e respostas diretas têm prioridade. Mensagens intermediárias, chamadas, resultados e mensagens de sistema preenchem o resto. A próxima é cortada se não couber; o conteúdo posterior fica de fora quando o orçamento se esgota.
Isso favorece provas conversacionais de frustração, recusa, confusão e promessas sem apoio. Mas uma contradição decisiva num resultado cria um ponto cego. Falha de autorização pode provar que nenhuma ação terminou, porém o diálogo prioritário pode consumir antes o espaço. Correspondência confiante ou ausência dela não prova cobertura completa da execução.
Também são excluídos conteúdos de subagentes, middleware e mensagens de compactação. O agente principal pode anunciar sucesso enquanto o subagente registra o fracasso fora da busca. Aumentar apenas o orçamento da conversa principal não inclui essas categorias.
A LangChain explora seleção dependente da consulta e sinais para uma segunda passagem. Erros ignorados exigem ferramentas; sentimento exige diálogo. São direções de desenvolvimento, não capacidades estabelecidas pela ordem fixa atual.
Disponibilidade regional não é residência regional da inferência
A beta está no LangSmith Cloud em Google Cloud nos EUA, Europa e Ásia-Pacífico. O administrador habilita para todos e não é necessária chave separada do fornecedor do modelo.
Habilitar permite transferir e processar rastros nos Estados Unidos mediante inferência e subprocessadores gerenciados pela LangChain. Isso inclui clientes da região europeia. Escolher implantação regional não garante que a inferência AI Search permaneça ali.
A LangChain diz explicitamente para não usar AI Search com informações de saúde protegidas. Nenhum Business Associate Agreement assinado cobre essa função. Revisar vazamentos gerais de dados pessoais não autoriza processamento de saúde regulada. A própria busca pode enviar o rastro sensível ao juiz.
Retenção, acesso, residência e subprocessadores precisam de revisão antes da ativação. Rastros ricos podem conter prompts, registros de clientes, documentos e resultados. Minimizar campos sensíveis antes da coleta reduz exposição, sem esperar que uma busca os remova depois.
Explorar ainda não é monitorar de forma reproduzível
A documentação de filtros apresenta restrições: descrições não podem ser salvas como vistas nem em links copiados, não entram no histórico recente e desabilitam o painel estatístico. Limites são por workspace, mas a referência não publica o valor.
Registrar o texto exato fora acrescenta trabalho e não garante classificações iguais. Mudanças pequenas podem alterar uma categoria subjetiva. Buscas salvas, resultados estáveis e limites documentados seriam melhorias reais para incidentes, não detalhes resolvidos por uma caixa de linguagem natural.
O material público não contém precisão, recall, distribuição de latência ou comparações independentes com embeddings e avaliadores predefinidos. Resultados plausíveis podem coexistir com raras falhas importantes omitidas. Testes precisam de incidentes conhecidos, negativos difíceis e diferentes frameworks, verificando falsos positivos e negativos.
O valor duradouro vem depois de uma correspondência
O suporte pode buscar pedidos repetidos após resolução anunciada e descobrir confusão entre fechar conta e cancelar assinatura. Casos revisados viram dados e rubrica testada, e avaliadores online medem o tráfego futuro. A busca descobre categorias; o monitoramento aplica depois da estabilização.
Concorrentes já unem rastreamento e julgamento. As avaliações Datadog colocam spans num prompt juiz para objetivos, ordem de ferramentas e qualidade. O fluxo Phoenix conecta anotações, avaliações, dados e experimentos. A distinção LangSmith é exploração na consulta antes da formalização da falha, não invenção da avaliação por modelos.
Tornar provas fragmentadas recuperáveis importa fora da observabilidade também. A leitura relacionada sobre conhecimento trata registros técnicos pesquisáveis. É contexto, não benchmark de AI Search.
Agrupar correspondências e selecionar provas adaptativamente pode ajudar. A LangChain descreve essas ambições e a competição pode ir para auditabilidade, reprodução e governança. Hoje, resultados importantes exigem conferência no registro e buscas sensíveis não substituem scanners ou controles formais. O lançamento muda quando perguntar sobre comportamento, mas não prova que toda resposta seja completa, reproduzível ou segura para aplicar automaticamente.