Agent może zwrócić status sukcesu i zawieść użytkownika. Może zignorować błąd narzędzia, ogłosić zakończenie albo dać sprzeczne instrukcje anulowania. Publiczna beta LangSmith AI Search ogłoszona 13 października pozwala opisać takie zachowanie zamiast najpierw zgadywać kod błędu, tag czy dokładną frazę.
Powstaje eksploracyjny etap przed trwałym ewaluatorem, ale kolejny model staje między badaczem a zapisem wykonania. Użyteczność zależy od faktycznie otrzymanych dowodów, nie tylko płynnego interfejsu.
Szukać zdarzeń, nie tylko wspomnianych tematów
Ogłoszenie wymienia frustrację, ujawnione szczegóły implementacji i niewykonaną pracę. Wyszukiwanie obejmuje uruchomienia, ślady i wątki. Ślad zapisuje żądanie z operacjami zagnieżdżonymi, wątek łączy ślady rozmowy.
Filtry strukturalne najpierw zawężają kandydatów. Status, opóźnienie, tagi, metadane, koszt i feedback nadal należą do nich. Opis naturalny nie wywnioskuje statusu, tagów, metadanych ani struktury. Pełny tekst pozostaje przydatny dla wyróżniającego identyfikatora, frazy lub błędu. Wyszukiwanie zachowań interpretuje wiadomości i działania wybranego zbioru.
Model decyzyjny czyta trajektorie równolegle i strumieniuje dopasowania. To nie tylko tematyczne embeddingi: udane i nieudane rozmowy rozliczeniowe mogą mieć prawie ten sam język i bliskie wektory. Porównanie deklaracji zakończenia z działaniem wymaga oceny sekwencji i znaczenia.
Wyniki mają pewność i widok wyróżniający dostępne wpływowe wiadomości. Pewność nie jest prawdą. Sarkazm, powtórzenia, ciche odejście i uprzejma odmowa dzielą nawet ludzi. Powtarzający tekst i wiadomości nieobecne w widoku utrudniają wyróżnianie. Sam wysoki wynik bez pełnego uzasadnienia nie stanowi audytowalnego ustalenia.
Normalizacja usuwa powtórzenia, nie każdą lukę
Telemetria zawiera wywołania, wiadomości, dokumenty, polecenia, wyniki, ponowienia i przekazania. Wysyłanie całej historii za każdym razem powiela starszą treść w naiwnej reprezentacji.
LangChain zbadał 150 losowych rozmów Open SWE. Raportuje medianę około 72 000 tokenów, jedynie 2 000 z wiadomości użytkownika i końcowych odpowiedzi oraz około 85% z narzędzi. Kilka przekroczyło milion. To próbka firmy, nie niezależny benchmark branży ani pomiar dokładności AI Search.
Warstwa SmithDB normalizuje obsługiwane formaty przy napływie, pokazując sesję raz poprzez wiadomości, odpowiedzi, wywołania i wyniki. Obsługuje LangChain, LangGraph, SDK OpenAI i Anthropic, Vercel AI SDK i OpenTelemetry. Ułatwia badanie między formatami bez powielania historii.
Kolejność 8 000 tokenów decyduje o pominięciach
Trajektoria dostaje 8 000 tokenów. Najpierw idą wiadomości użytkownika i bezpośrednie odpowiedzi; pośrednie wiadomości modeli, wywołania, wyniki i komunikaty systemowe wypełniają resztę. Kolejna wiadomość jest przycinana, jeżeli się nie mieści; po wyczerpaniu budżetu dalsze treści znikają z widoku.
Sprzyja to frustracji, odmowie, dezorientacji i niepopartym obietnicom w dialogu. Decydująca sprzeczność w wyniku narzędzia tworzy jednak martwy punkt. Błąd autoryzacji może dowodzić niewykonania, ale ważniejszy dialog zużyje wcześniej budżet. Pewne dopasowanie albo jego brak nie dowodzi pełnego pokrycia wykonania.
Wykluczono też treści subagentów, middleware i wiadomości kompaktyzacji. Agent nadrzędny może ogłosić sukces, a subagent zapisać realny błąd poza wyszukiwaniem. Zwiększenie budżetu głównej rozmowy samo nie doda wykluczonych kategorii.
LangChain bada wybór zależny od zapytania i sygnały potrzeby drugiego przebiegu. Ignorowane błędy potrzebują narzędzi, emocje dialogu. To kierunki rozwoju, nie wykazane możliwości obecnego stałego porządku.
Regionalna dostępność nie gwarantuje lokalnej inferencji
Beta działa w LangSmith Cloud na Google Cloud w USA, Europie i Azji-Pacyfiku. Administrator włącza ją wszystkim członkom, bez osobnego klucza dostawcy modelu.
Włączenie pozwala przesyłać i przetwarzać ślady w USA przez inferencję i podwykonawców zarządzanych przez LangChain. Dotyczy także klientów regionu europejskiego. Regionalne wdrożenie nie gwarantuje lokalnego przetwarzania AI Search.
LangChain wyraźnie zabrania używania AI Search dla chronionych informacji zdrowotnych. Żadna podpisana Business Associate Agreement nie obejmuje funkcji. Szukanie zwykłych wycieków danych osobowych nie uprawnia do przetwarzania regulowanych danych zdrowotnych. Samo wyszukiwanie może wysłać wrażliwy ślad do sędziego.
Retencja, dostęp, lokalizacja i podwykonawcy wymagają oceny przed włączeniem. Bogate ślady mogą zawierać prompty, rekordy klientów, dokumenty i wyniki. Minimalizacja wrażliwych pól przed zebraniem ogranicza ekspozycję zamiast polegania na ich usunięciu przez późniejszą wyszukiwarkę.
Eksploracja nie jest jeszcze powtarzalnym monitoringiem
Dokumentacja filtrów wskazuje ograniczenia: opisów nie zapisuje się jako widoków ani w kopiowanych linkach, nie trafiają do historii filtrów, a panel statystyk jest wyłączony podczas zapytania. Limity obowiązują na workspace, bez podanego progu.
Zapisanie sformułowania osobno dodaje pracę, nie zapewniając tych samych klasyfikacji. Drobne zmiany mogą przesuwać subiektywne kategorie. Zapisywalne wyszukiwania, stabilne wyniki i udokumentowane limity byłyby ulepszeniami obsługi incydentów, nie rozwiązanymi już szczegółami.
Publiczne materiały nie podają precyzji, kompletności, rozkładów opóźnień ani niezależnych porównań z embeddingami i gotowymi ewaluatorami. Wiarygodne dopasowania mogą pomijać rzadkie ważne błędy. Testy powinny obejmować znane incydenty, trudne negatywy i różne frameworki, sprawdzając fałszywe pozytywy i negatywy.
Trwała wartość powstaje po dopasowaniu
Wsparcie może wyszukać ponawiane prośby po deklarowanej naprawie i odkryć mylenie zamknięcia konta z anulowaniem abonamentu. Zweryfikowane przypadki tworzą dane i przetestowaną rubrykę; ewaluatory online mierzą przyszły ruch. Szukanie odkrywa kategorię, monitoring stosuje ją po ustabilizowaniu definicji.
Konkurenci już łączą ślady i ocenę modeli. Ewaluacje Datadog umieszczają spany w prompcie sędziego dla ukończenia celu, kolejności narzędzi i jakości rozmowy. Przepływ Phoenix łączy adnotacje, ocenę, dane i eksperymenty. LangSmith wyróżnia eksploracja przy zapytaniu przed formalnym zdefiniowaniem błędu, nie wynalezienie oceny modelowej.
Odnajdywanie rozproszonych dowodów liczy się także poza obserwowalnością. Powiązany tekst o wiedzy dotyczy przeszukiwalnych zapisów technicznych. To kontekst, nie benchmark AI Search.
Grupowanie dopasowań i adaptacyjny wybór dowodów mogą pomóc. LangChain opisuje te ambicje, a konkurencja może przenieść się na audytowalność, odtwarzalność i zarządzanie. Dzisiaj ważne wyniki wymagają potwierdzenia w oryginale, a szukanie wrażliwych danych nie zastępuje skanerów czy formalnych kontroli. Premiera zmienia moment zadawania pytań o zachowanie, ale nie dowodzi kompletności, odtwarzalności ani bezpiecznego automatycznego egzekwowania każdej odpowiedzi.