Un agente può restituire uno stato riuscito e fallire per l’utente. Può ignorare un errore dello strumento e dichiarare concluso il compito, oppure dare istruzioni contraddittorie su una cancellazione. La beta pubblica LangSmith AI Search annunciata il 13 ottobre permette di descrivere questi comportamenti anziché indovinare codice, tag o frase esatta.
Introduce una fase esplorativa prima di un valutatore duraturo, ma anche un altro modello tra investigatore e registro. L’utilità dipende dalle prove effettivamente ricevute dal modello, non soltanto da un’interfaccia fluida.
Cercare cosa è successo, non soltanto il tema menzionato
L’annuncio cita frustrazione, dettagli implementativi rivelati e lavori incompleti. La ricerca copre esecuzioni, tracce e thread. Una traccia registra richiesta e operazioni annidate, un thread collega tracce della conversazione.
I filtri strutturati restringono i candidati. Stato, latenza, tag, metadati, costi e feedback restano la loro funzione. La descrizione naturale non deduce stato, tag, metadati o struttura. Il testo completo resta utile per identificatori, frasi o errori distintivi. La ricerca comportamentale interpreta messaggi e azioni del gruppo scelto.
Un modello decisionale legge traiettorie in parallelo e trasmette corrispondenze. Non è soltanto ricerca tematica tramite embedding: conversazioni riuscite e fallite sulla fatturazione possono avere parole e vettori simili. Confrontare dichiarazione di conclusione e azioni richiede giudizio su sequenza e significato.
I risultati hanno confidenza e una vista che evidenzia messaggi influenti localizzabili. Confidenza non è verità. Sarcasmo, ripetizioni, abbandono silenzioso e rifiuto cortese dividono anche gli umani. Testo ripetuto e messaggi assenti possono impedire evidenziazione. Un punteggio alto senza motivazione completa non costituisce da solo un risultato verificabile.
Normalizzare elimina ripetizioni, non tutte le lacune
La telemetria comprende chiamate, messaggi, documenti, comandi, risultati, tentativi e passaggi. Inviare ogni volta tutta la cronologia ripete materiale vecchio in una rappresentazione ingenua.
LangChain ha esaminato 150 conversazioni casuali di Open SWE. Riporta una mediana di circa 72.000 token, soltanto 2.000 da messaggi utenti e risposte finali e circa 85% da strumenti. Diverse superavano un milione. È un campione aziendale, non riferimento indipendente del settore né valutazione di accuratezza AI Search.
Il livello SmithDB normalizza i formati compatibili all’arrivo e presenta una volta messaggi, risposte, chiamate e risultati. Supporta LangChain, LangGraph, SDK OpenAI e Anthropic, Vercel AI SDK e OpenTelemetry. Consente indagini tra formati senza ripetere la cronologia.
L’ordine di 8.000 token decide cosa perde il giudice
Ogni traiettoria riceve 8.000 token. Messaggi utente e risposte dirette sono prioritari. Messaggi intermedi, chiamate, risultati e messaggi di sistema riempiono il resto. Il successivo viene troncato se non entra; esaurito il budget il materiale seguente resta fuori.
Favorisce indizi conversazionali di frustrazione, rifiuto, confusione e promesse infondate. Una contraddizione decisiva nel risultato di uno strumento crea però un punto cieco. Un errore di autorizzazione può provare mancata esecuzione, ma il dialogo prioritario consuma prima il budget. Corrispondenza sicura o sua assenza non provano copertura completa dell’esecuzione.
Sono esclusi anche contenuti dei subagenti, middleware e messaggi di compattazione. Il genitore può riferire successo mentre il subagente registra il vero fallimento fuori dalla ricerca. Aumentare il budget della conversazione principale non aggiunge queste categorie.
LangChain esplora selezione dipendente dalla query e segnali per un secondo passaggio. Errori ignorati richiedono strumenti, sentiment richiede dialogo. Sono direzioni di sviluppo, non capacità dimostrate dall’attuale ordine fisso.
Disponibilità regionale non significa residenza regionale dell’inferenza
La beta è in LangSmith Cloud su Google Cloud negli USA, Europa e Asia-Pacifico. L’amministratore abilita tutti i membri e non serve una chiave separata del provider di modello.
Abilitare permette trasferimento e trattamento delle tracce negli Stati Uniti mediante inferenza e subfornitori gestiti da LangChain. Vale anche per clienti della regione europea. Un deployment regionale non garantisce inferenza AI Search nella stessa regione.
LangChain dice esplicitamente di non usare AI Search per informazioni sanitarie protette. Nessun Business Associate Agreement firmato copre questa funzione. Cercare fughe generali di dati personali non autorizza dati sanitari regolamentati. La ricerca stessa può inviare la traccia sensibile al giudice.
Conservazione, accesso, residenza e subfornitori vanno valutati prima dell’attivazione. Tracce ricche possono contenere prompt, record clienti, documenti e risultati. Minimizzare campi sensibili prima della raccolta riduce esposizione, invece di sperare nella rimozione tramite una ricerca successiva.
Esplorare non è ancora monitorare in modo riproducibile
La documentazione dei filtri elenca limiti: descrizioni non salvabili come viste né nei link copiati, assenti dalla cronologia recente, pannello statistiche disabilitato durante la query. Limiti di frequenza sono per workspace, ma la fonte non ne pubblica la soglia.
Annotare il testo esatto altrove aggiunge lavoro e non garantisce uguali classificazioni. Piccole variazioni possono spostare categorie soggettive. Ricerche salvate, risultati stabili e limiti documentati sarebbero miglioramenti per gli incidenti, non dettagli già risolti dall’input naturale.
Non sono pubblicati precisione, richiamo, distribuzioni di latenza o confronti indipendenti con embedding e valutatori predefiniti. Corrispondenze plausibili possono mancare rari errori importanti. I test devono includere incidenti noti, negativi difficili e framework diversi, verificando falsi positivi e negativi.
Il valore duraturo viene dopo una corrispondenza
Il supporto può cercare richieste ripetute dopo una risoluzione dichiarata e scoprire confusione tra chiusura dell’account e annullamento dell’abbonamento. Esempi revisionati diventano dati e rubrica provata; i valutatori online misurano traffico futuro. La ricerca scopre categorie, il monitoraggio le applica dopo stabilizzazione.
I concorrenti già combinano tracce e giudizio. Le valutazioni Datadog inseriscono span nel prompt giudice per obiettivi, ordine degli strumenti e qualità. Il flusso Phoenix unisce annotazioni, valutazioni, dati ed esperimenti. LangSmith si distingue per esplorare alla query prima della definizione formale dell’errore, non per inventare la valutazione con modelli.
Rendere recuperabili prove frammentate conta anche fuori dall’osservabilità. La lettura correlata sulla conoscenza riguarda registri tecnici ricercabili. È contesto, non benchmark di AI Search.
Raggruppare corrispondenze e scegliere prove adattivamente potrebbe aiutare. LangChain descrive queste ambizioni e la concorrenza può passare a verificabilità, riproducibilità e governance. Oggi i risultati importanti vanno confermati nel registro e le ricerche sensibili non sostituiscono scanner o controlli formali. Il lancio cambia quando porre domande comportamentali, senza provare che ogni risposta sia completa, riproducibile o sicura da applicare automaticamente.