LangChain의 10월 13일 ScaleDown 통합은 에이전트의 주요 판단 모델이 아니라 보조 작업을 처리하는 모델을 바꾼다. 새 langchain-scaledown 패키지는 LangChain과 Deep Agents를 특화된 제약 디코딩 모델에 연결한다. 계획, 코딩, 초안과 개방형 생성은 계속 주 모델이 담당한다.
핵심 주장은 반복적인 문맥 정리에 어려운 추론과 같은 프런티어 추론을 쓸 필요가 없다는 것이다. 하지만 미들웨어는 입력 크기뿐 아니라 의미도 바꾼다. 가치는 문서를 줄이는 것 자체보다 요약, 선별, 추출 뒤에도 에이전트 전체가 올바른 결과를 얻는지에 달려 있다.
모델 네 개와 미들웨어 진입점 네 개
통합 발표는 특화 모델 네 개를 소개한다. Summarize는 오래된 대화를 요약하고, Compress는 질문에 관련된 자료를 고르고, Extract는 요청한 원문 필드를 복사하며, Classify는 개발자 정의 라벨에 점수를 매긴다. 제약 디코딩은 임의 생성 대신 한정된 작업에 맞춰 허용 답변 공간을 좁힌다.
패키지 경로는 이력 요약, 일반 문맥 압축, 도구 결과 압축, 구조화 추출이다. 네 모델 유형이 모두 완성된 안전 미들웨어로 제공된다는 뜻은 아니다. Classify의 진행·반복·이탈 예시도 개발자가 라벨, 평가 기준, 신뢰도 임계값과 교정 행동을 정해야 한다. 이번 버전에는 즉시 쓸 수 있는 이탈 감지기가 없다.
ScaledownSummarizationMiddleware는 설정한 이력 임계값에서 작동해 오래된 메시지를 바꾸고 최근 일부는 원문 그대로 보존한다. 요약에는 의도, 진행, 산출물과 다음 단계를 담을 수 있다. Deep Agents는 제거된 이력을 다시 읽을 파일에 저장한다. 이는 복구 경로이지 원문이 필요한 순간을 에이전트가 안다는 보장은 아니다.
ScaledownToolCompressionMiddleware는 필요한 정보를 기술하는 compression_query를 추가한다. 실제 도구 실행 전 이 필드를 제거하고 주 모델이 응답을 보기 전에 압축한다. 예를 들어 유럽 환불 문의에는 반품 정책 전체보다 예외 한 항목이 필요할 수 있다. 부족하면 원본 결과를 다시 요청할 수 있지만 성급한 관련성 질문은 나중에 필요한 사실을 숨길 수 있다.
ScaledownExtractionMiddleware는 사용자 메시지에서 주문 ID, 정확한 오류, 이메일과 문제 분류 등을 구조화 상태에 넣어 후속 도구가 사용하게 한다. 에이전트 답변에서는 추출하지 않아 자신의 추측을 사용자 증거로 바꾸는 위험을 줄인다. 없는 필드는 비워 둔다. 정확한 오류 코드 복사는 그럴듯한 대체 값을 생성하는 것보다 평가 목표가 명확하다.
일반 문맥 압축은 큰 시스템 프롬프트도 대상으로 한다. 미들웨어 문서는 짧거나 창의적인 프롬프트에는 사용하지 말라고 경고한다. 필요한 어조, 지침과 세부 정보가 사라질 수 있다. 특화 처리의 조합이지 주 모델로부터의 전면 이전은 아니다.
구체적인 추적 기록은 약90%가 아닌83.1% 감소다
LangChain 예시의 문서 결과는 18,402자에서 3,110자로 줄어든다. 15,292자, 약83.1% 감소이며 16.9%가 남는다. 한 추적의 문자 수일 뿐 실측 토큰 감소, 정확성 보장이나 보편적인 에이전트 절감률이 아니다.
반복 비용 논리는 여전히 중요하다. 코딩 에이전트는 저장소 검색, 테스트 로그, 파일 내용과 이전 실패를 후속 요청으로 계속 가져갈 수 있다. 결과가 지속 이력에 들어가기 전 압축하면 첫 호출뿐 아니라 이후 여러 호출이 바뀐다. 큰 문맥 창도 무관한 자료를 유용하거나 무료로 만들지는 않는다.
ScaleDown은 네 모델 각각 최대100만 입력 토큰을 지원한다고 한다. LangChain은 Extract, Summarize, Classify가 이미지와 스캔 PDF도 받는다고 한다. 애플리케이션의 분할을 줄일 수 있지만 유용성은 문서 구조와 작업 품질에 달려 있다. 입력 용량 자체는 정확성 보장이 아니다.
게이트웨이 가시성이 추가 공급자를 없애지는 않는다
ScaleDown은 /scaledown으로 LangSmith LLM Gateway에도 합류한다. 관리자는 공급자 키를 저장하고 애플리케이션은 LangSmith로 인증한다. 직접 공급자 경로는 다른 공급자 형식으로 바꾸지 않고 ScaleDown 고유 요청과 응답을 유지한다.
LangSmith는 인증, 공급자 비밀 정보, 정책과 추적을 담당한다. 보조 호출을 주 모델과 함께 볼 수 있고 작업공간 지출 및 속도 제한에 반영한다. 팀은 활성화 빈도, 추가 지연과 실제 영향을 받는 전체 추론 지출 비중을 조사할 수 있다.
패키지 메타데이터는 필요한 텍스트만 ScaleDown에 보내고 패키지 원격측정은 없다고 설명한다. 데이터가 애플리케이션 밖으로 나가지 않는다는 뜻은 아니다. 오래된 메시지, 선택된 도구 결과, 사용자 식별자와 연락처, 분류용 이력에는 다른 처리업체가 추가된다. 공급자별 보존, 데이터 위치, 보안, 감사와 계약 조건을 확인해야 한다.
장애 시 지속은 동일 행동의 보장이 아니다
네 경로는 모두 페일오픈 방식이다. 거부, 서비스 중단이나 할당량 소진 시 해당 미들웨어 결과 없이 계속 진행한다. 보조 최적화가 주 워크플로를 자동 중단할 필요는 없다.
그러나 대체 경로는 중요하다. 압축 실패는 비용을 늘리고, 문맥 한계 근처 요약 실패는 원래 이력을 용량 한계로 밀어 넣을 수 있다. 추출 실패는 후속 도구에 필요한 필드를 없앨 수 있다. 로직은 실제 값 부재와 추출 서비스 중단을 구분해야 한다. 가동률만 보면 이런 행동 차이를 놓친다.
가용성에도 경계가 있다. 문서는 sd_summarize를 ScaleDown 활성화가 필요한 비공개 프리뷰로 설명한다. 모든 광고 경로가 즉시 같은 조건으로 제공된다고 가정해서는 안 된다.
큰 배수의 벤치마크도 공급자 측정이다
LangChain은 좁은 작업에서 최대200배 속도, 비용467분의1이라는 ScaleDown 주장을 인용한다. 공급자 비교는 나열된 OpenAI 모델 세 개의 평균 대비 Summarize가 비용41분의1, 속도2.7배, Compress가 비용138분의1, 속도1.8배라고 보고한다. 정확도 향상 주장도 같은 공급자가 고른 데이터, 구성, 가격과 지연 환경에서 나왔다.
독립적으로 입증된 운영 에이전트 전체의 절감은 아니다. 주 모델, 검색, 도구, 추적과 인프라는 남는다. 짧은 호출 한 번은 여지가 적고 반복적인 긴 문서에는 더 많다. 미들웨어는 네트워크 요청도 추가하므로 위치와 동시 실행이 실제 총지연에 영향을 준다.
손실 압축은 여러 단계 후 필요한 준수 예외를 버릴 수 있다. 요약 재요약은 의도, 신뢰도와 인과 이력을 바꿀 수 있다. 복구 파일도 읽어야 효과가 있다. 전체 궤적의 사실 보존, 정확 필드, 유효 완료, 후속 오류, 재시도, 복구 빈도와 총지연을 비교해야 한다. 보조 호출당 비용보다 성공 작업당 비용이 중요하다.
캐싱과 지속 메모리는 같은 대체 수단이 아니다
OpenAI의 프롬프트 캐싱 지침은 문맥을 지우지 않고 일치하는 접두사의 계산 상태를 재사용한다. 압축은 후속 입력량 자체를 줄인다. 둘을 함께 쓸 수 있지만 요약으로 앞부분을 바꾸면 변경점 이후 캐시 적중을 잃을 수 있다. 안정성과 원래 몇 번 재사용됐을지가 절감 폭을 결정한다.
Anthropic의 장기 실행 에이전트 연구는 문맥 정리만으로 창을 넘는 진행을 보장하지 못한다고 강조한다. 지속 산출물, 진행 기록, 일관된 작업 분해와 복구도 필요하다. 코딩 에이전트는 이런 파일을 안정 지침 캐시, 도구 압축과 이력 요약에 결합할 수 있다.
활성 문맥 밖에 원문을 두면 되돌릴 수 있는 검색도 가능하다. 원문의 관련 지식베이스 글은 검색 가능한 로컬 기술 자료를 다룬다. 배경 읽을거리이지 ScaleDown 성능 주장의 증거가 아니다.
프레임워크 라우팅은 공급자 간 통제를 제공하지만 엔드포인트, 자격 증명, 한계와 장애 유형을 늘린다. 네이티브 캐싱, 정리와 저가 특화 엔드포인트는 통합 부품이 적은 경쟁 수단이다. 재현 가능한 의미 평가, 페일오픈 경로를 포함한 운영 추적과 다른 공급자의 대응이 도입을 결정한다. 가장 강한 근거는 작업별 모델 선택이지 대형 모델이 불필요하다거나 짧은 문맥만으로 저렴하고 올바른 완료가 자동 입증된다는 주장이 아니다.