Un agent peut renvoyer un statut réussi et échouer pour l’utilisateur. Il peut ignorer une erreur d’outil puis annoncer la fin du travail, ou donner des consignes contradictoires sur une résiliation. La bêta publique LangSmith AI Search annoncée le 13 octobre laisse décrire ces comportements au lieu de deviner code d’erreur, tag ou phrase exacte.
Elle crée une étape exploratoire avant l’existence d’un évaluateur durable, mais interpose aussi un autre modèle entre enquêteur et journal d’exécution. L’utilité dépend des preuves effectivement reçues par ce modèle, pas seulement d’une interface fluide.
Chercher ce qui s’est passé, pas seulement le sujet évoqué
L’annonce LangChain cite frustration, divulgation de détails techniques et travail inachevé. La recherche couvre exécutions, traces et fils. Une trace enregistre une demande et ses opérations imbriquées ; un fil relie les traces d’une conversation.
Les filtres structurés limitent d’abord les candidats. Statut, latence, tags, métadonnées, coût et retours restent leur domaine. Une description naturelle ne déduit pas statut d’exécution, tags, métadonnées ou structure. Le plein texte reste utile pour un identifiant, une expression ou une erreur distinctifs. La recherche comportementale interprète les messages et actions du sous-ensemble retenu.
Un modèle décide en lisant les trajectoires en parallèle, puis diffuse les correspondances. Ce n’est pas seulement une recherche thématique par embeddings. Conversations de facturation réussies ou ratées peuvent partager vocabulaire et vecteurs proches. Relier déclaration d’achèvement et actes exige un jugement sur séquence et sens.
Les résultats ont des scores de confiance et une vue mettant en évidence les messages influents localisables. La confiance n’est pas la vérité. Sarcasme, répétitions, abandon discret et refus poli divisent même des humains. Texte répété et messages absents de la vue peuvent empêcher le surlignage. Un score élevé sans justification complète n’est pas à lui seul un constat auditable.
Normaliser élimine les répétitions, pas toute lacune
La télémétrie comprend appels de modèles, messages, documents, commandes, résultats d’outils, nouvelles tentatives et transferts. Renvoyer l’historique complet à chaque appel répète les anciens éléments dans une représentation naïve.
LangChain a examiné 150 conversations Open SWE choisies aléatoirement. Il rapporte une médiane d’environ 72 000 jetons, dont seulement 2 000 de messages utilisateurs et réponses finales, et environ 85% de sorties d’outils. Plusieurs dépassaient un million. C’est un échantillon interne, pas une référence sectorielle indépendante ni une mesure de précision d’AI Search.
La couche SmithDB normalise les formats à l’arrivée et présente une seule fois messages humains, réponses, appels et résultats. Elle prend en charge LangChain, LangGraph, SDK OpenAI et Anthropic, Vercel AI SDK et OpenTelemetry. Cela permet une enquête interformats sans répéter l’historique.
L’ordre des 8 000 jetons détermine ce que le juge manque
Chaque trajectoire dispose de 8 000 jetons. Messages utilisateurs et réponses directes sont prioritaires. Messages intermédiaires, appels et résultats d’outils et messages système remplissent le reste. Le message suivant est tronqué s’il ne tient pas ; les éléments ultérieurs sortent du champ une fois le budget épuisé.
Cela favorise les indices conversationnels de frustration, refus, confusion et promesses non étayées. Mais une contradiction décisive dans un résultat d’outil crée un angle mort. Un échec d’autorisation prouve qu’aucune action n’a abouti, pourtant le dialogue prioritaire peut consommer le budget avant lui. Une correspondance confiante, ou son absence, ne prouve donc pas une couverture complète.
Les contenus de sous-agents, middleware et messages de compaction sont également exclus. Le parent peut signaler une réussite alors qu’un sous-agent enregistre l’échec hors du périmètre. Augmenter le budget de la conversation principale n’ajoute pas ces catégories.
LangChain explore une sélection dépendant de la requête et un signal de second passage. Une erreur ignorée exige les outils, le sentiment privilégie le dialogue. Ce sont des pistes de développement, pas des capacités établies par l’ordre fixe actuel.
Disponibilité régionale ne veut pas dire inférence locale
La bêta existe dans LangSmith Cloud sur Google Cloud aux États-Unis, en Europe et en Asie-Pacifique. L’administrateur l’active pour tous les membres ; aucune clé séparée de fournisseur de modèle n’est nécessaire.
L’activation autorise transfert et traitement des traces aux États-Unis via l’inférence et les sous-traitants gérés par LangChain. Cela concerne aussi les clients de la région européenne. Choisir un déploiement régional ne garantit pas que l’inférence AI Search y reste.
LangChain dit explicitement de ne pas utiliser AI Search pour des informations de santé protégées. Aucun Business Associate Agreement signé ne couvre cette fonction. Rechercher des fuites de données personnelles générales ne vaut pas autorisation de traiter des données de santé réglementées. La recherche elle-même peut transmettre la trace sensible au juge.
Conservation, accès, résidence et sous-traitants doivent donc être évalués avant activation. Des traces détaillées peuvent contenir prompts, dossiers clients, documents et résultats d’outils. Minimiser les champs sensibles avant collecte réduit l’exposition au lieu d’espérer leur suppression par une recherche ultérieure.
Explorer n’est pas encore surveiller de façon reproductible
La documentation des filtres précise les limites : descriptions non enregistrables comme vues ni conservées dans les liens copiés, absence de l’historique récent, panneau statistique indisponible pendant la requête. Les limites de débit sont par espace, sans seuil publié dans la référence.
Consigner ailleurs la formulation exacte ajoute du travail sans garantir les mêmes classifications. Une petite variation change parfois une catégorie subjective. Recherches enregistrées, résultats stables et limites documentées seraient de vrais progrès pour la réponse aux incidents, pas des détails déjà résolus.
Le public ne dispose ni de précision, rappel, distributions de latence ni de comparaisons indépendantes avec embeddings et évaluateurs prédéfinis. Des résultats plausibles peuvent manquer les rares échecs importants. Les tests doivent inclure incidents connus, négatifs difficiles et divers frameworks, en vérifiant faux positifs et faux négatifs.
La valeur durable vient après une correspondance
Une équipe peut rechercher les demandes répétées après résolution annoncée et découvrir une confusion entre fermeture de compte et résiliation d’abonnement. Les exemples revus deviennent jeu de données et grille testée, puis les évaluateurs en ligne mesurent les flux futurs. La recherche découvre la catégorie ; la supervision l’applique après stabilisation.
Des concurrents combinent déjà traçage et jugement. Les évaluations Datadog placent les spans dans un prompt juge pour objectif, ordre des outils et qualité. Le workflow Phoenix lie annotations, évaluations, données et expériences. LangSmith se distingue par l’exploration au moment de la requête avant formalisation d’un échec, pas par l’invention du jugement de modèle.
Retrouver des preuves fragmentées importe aussi hors observabilité. L’article connexe de connaissances traite de documents techniques consultables. C’est du contexte, pas un benchmark AI Search.
Regrouper les correspondances et sélectionner les preuves de façon adaptative pourrait aider. LangChain décrit ces ambitions ; la concurrence peut se déplacer vers auditabilité, reproductibilité et gouvernance. Aujourd’hui, il faut confirmer les résultats à fort impact dans le journal original, sans remplacer scanners ou contrôles formels par la recherche sensible. Le lancement change quand poser les questions, sans prouver que chaque réponse est complète, reproductible ou sûre à exécuter automatiquement.