에이전트는 성공 상태를 반환해도 사용자의 요구에는 실패할 수 있다. 도구 오류를 무시하고 완료를 선언하거나 취소 요청에 모순된 안내를 할 수 있다. 10월13일 발표된 LangSmith AI Search 공개 베타는 오류 코드, 태그나 정확한 문구를 먼저 추측하지 않고 이런 행동을 기술해 찾게 한다.
지속적인 평가기를 만들기 전 탐색 단계가 생기는 한편 조사자와 실행 기록 사이에 또 다른 모델이 놓인다. 유창한 검색 화면뿐 아니라 모델이 실제로 받는 증거가 기능 가치를 결정한다.
언급한 주제보다 실제로 무엇이 일어났는지 묻는다
LangChain 발표는 불만 사용자, 구현 정보 노출, 작업 미완료를 예로 든다. 개별 실행, 트레이스, 스레드에서 검색한다. 트레이스는 요청과 중첩 작업을, 스레드는 한 대화의 여러 트레이스를 연결한다.
기존 구조화 필터가 먼저 후보를 좁힌다. 상태, 지연, 태그, 메타데이터, 비용과 피드백은 여전히 필터의 역할이다. 자연어로 실행 상태, 태그, 메타데이터나 구조를 추론하지 못한다. 독특한 ID, 문구, 오류에는 전문 검색도 유효하다. 행동 검색은 선택된 기록의 메시지와 동작 해석을 더한다.
판정 모델은 후보 궤적을 병렬로 읽고 일치를 순차 반환한다. 단순한 주제 임베딩 검색이 아니다. 성공과 실패의 청구 대화는 단어와 벡터가 거의 같을 수 있다. 완료 주장과 실제 행동의 일치에는 순서와 의미 판단이 필요하다.
결과에는 신뢰도가 있고 궤적 보기에서 위치를 찾을 수 있는 영향 메시지를 강조한다. 신뢰도가 사실은 아니다. 빈정거림, 반복 질문, 조용한 이탈, 정중한 거절은 사람도 판단이 갈린다. 반복 텍스트와 보기에 없는 메시지 탓에 모든 일치를 강조할 수도 없다. 완전한 이유 없는 고득점 자체는 감사 가능한 결론이 아니다.
정규화는 중복을 줄이지만 누락을 없애지는 않는다
원격측정에는 모델 호출, 사용자 발언, 검색 문서, 명령, 도구 결과, 재시도와 인계가 포함된다. 호출마다 전체 이력을 보내면 단순한 추적 표현에 같은 옛 내용이 반복 저장된다.
LangChain은 Open SWE 코딩 에이전트 대화150개를 무작위 추출해 중앙값 약72,000토큰, 사용자 발언과 최종 답변 약2,000토큰, 도구 출력 약85%라고 보고했다. 일부는100만토큰을 넘었다. 회사 표본이지 독립 업계 기준이나 AI Search 정확도 평가는 아니다.
SmithDB 계층은 들어오는 지원 형식을 정규화해 사용자 메시지, 에이전트 답변, 도구 호출과 결과로 세션을 한 번 표시한다. LangChain, LangGraph, OpenAI·Anthropic SDK, Vercel AI SDK와 OpenTelemetry를 지원한다. 같은 이력을 반복하지 않고 형식을 넘어 조사할 수 있다.
8,000토큰 순서가 판정의 누락을 결정한다
궤적당 문맥 예산은8,000토큰이다. 사용자 메시지와 직접 답변이 최우선이고 중간 모델 메시지, 도구 호출, 결과와 시스템 메시지가 나머지를 채운다. 다음 메시지가 들어가지 않으면 자르고, 예산 이후 자료는 모델 시야 밖이 된다.
불만, 거부, 혼란과 근거 없는 약속 같은 대화 증거에는 유리하다. 결정적 모순이 도구 결과에 있으면 문제가 된다. 권한 오류가 동작 미완료를 입증해도 높은 우선순위 대화가 먼저 예산을 소진할 수 있다. 높은 신뢰도의 일치나 불일치가 실행 증거 전체를 봤다는 뜻은 아니다.
하위 에이전트, 미들웨어와 문맥 압축 메시지 내용도 제외한다. 상위 에이전트가 성공을 보고해도 하위의 실제 실패는 검색 밖에 남을 수 있다. 주 대화 예산만 늘려서는 제외된 범주가 들어오지 않는다.
LangChain은 쿼리별 선택과 두 번째 검사가 필요한 때의 신호를 탐색 중이라고 한다. 무시한 오류는 도구 증거, 감정은 대화를 우선해야 하지만 이는 개발 방향이지 현재 고정 순서가 구현한 능력이 아니다.
지역 가용성은 지역 내 추론 처리를 뜻하지 않는다
베타는 Google Cloud 미국, 유럽, 아시아태평양의 LangSmith Cloud에서 쓸 수 있다. 조직 관리자가 모든 구성원에게 활성화하며 별도 모델 공급자 키는 필요 없다.
활성화하면 LangChain 관리 추론과 하위 처리업체를 통해 트레이스가 미국으로 전송되어 처리될 수 있다. 유럽 지역 고객도 해당한다. 지역 배포 선택을 AI Search 추론이 그 지역에 남는 보장으로 설명해서는 안 된다.
LangChain은 보호 대상 건강정보에 AI Search를 사용하지 말라고 명시하며, 체결된 Business Associate Agreement(BAA)도 이 기능을 포함하지 않는다. 일반 개인식별정보 유출 검토는 규제 건강정보 처리 허가와 다르다. 검색 자체가 민감한 트레이스를 판정기에 보낼 수 있다.
관리자 활성화 전 보존, 접근, 위치와 하위 처리업체 요건을 확인해야 한다. 상세 추적은 프롬프트, 고객 기록, 검색 문서와 도구 출력을 담을 수 있다. 검색으로 사후 제거하기보다 수집 전 민감 필드를 최소화하면 노출을 줄인다.
탐색은 아직 반복 가능한 모니터링 통제가 아니다
필터 문서는 중요한 베타 제한을 설명한다. 설명을 보기로 저장하거나 복사한 링크에 보존할 수 없고 최근 필터 이력에도 나타나지 않는다. 쿼리 활성화 중 통계 패널도 사용할 수 없다. 속도 제한은 작업공간 단위지만 참조 문서에 임계값이 없다.
정확한 문구를 따로 기록해도 수작업이 늘고 같은 분류를 보장하지 않는다. 작은 표현 차이가 주관 범주를 바꿀 수 있다. 저장 검색, 안정 결과와 공개 제한은 사고 대응 개선 사항이지 자연어 입력창이 이미 해결한 부분은 아니다.
공개 자료에는 정밀도, 재현율, 지연 분포나 임베딩·기존 평가기와의 독립 비교가 없다. 그럴듯한 일치와 드물지만 중대한 누락이 공존할 수 있다. 알려진 사고, 어려운 음성 사례와 다양한 프레임워크로 오탐·미탐을 평가해야 한다.
일치 이후의 활용에 지속적인 가치가 있다
지원팀은 해결 선언 후에도 요청을 반복한 사용자를 찾아 계정 폐쇄와 구독 취소의 혼동을 발견할 수 있다. 검토한 사례를 데이터셋과 시험한 기준으로 만들고 온라인 평가기로 미래 트래픽을 측정한다. 검색이 범주를 발견하고 정의가 안정된 뒤 모니터링이 적용한다.
경쟁사도 추적과 모델 판단을 결합한다. Datadog의 트레이스 수준 평가는 스팬을 판정 프롬프트에 넣어 목표 완료, 도구 순서와 대화 품질을 본다. Arize Phoenix의 추적 흐름은 주석, 평가, 데이터셋과 실험을 연결한다. LangSmith의 차이는 실패를 공식 정의하기 전 즉석 탐색이지 모델 평가의 발명이 아니다.
분산 증거의 검색 가능성은 관측성 밖에서도 중요하다. 원문의 관련 지식베이스 글은 검색 가능한 기술 기록을 다룬다. 배경 자료이지 AI Search 품질 기준은 아니다.
반복 일치의 묶음과 적응형 증거 선택은 발견을 개선할 수 있다. LangChain은 그 방향을 설명하며 경쟁은 감사 가능성, 재현성과 거버넌스로 옮겨갈 수 있다. 현재 중요한 일치는 원기록으로 확인하고 민감정보 검색을 결정론적 검사나 공식 통제의 대체로 사용하면 안 된다. 행동 질문의 시점은 바뀌었지만 모든 답이 완전하고 재현 가능하며 자동 집행에 안전하다고 입증되지는 않았다.