Goodfire의 10월 8일 발표는 호스팅 추론 내부에 다른 형태의 안전 관찰자를 둡니다. 두 번째 언어 모델이 에이전트의 모든 행동을 다시 읽는 대신 원 모델이 이미 생성한 수치 활동을 검사합니다. 작은 분류기가 선별하고 의심 사례를 큰 모델이나 사람에게 전달합니다.
발표 보도에 따르면 Baseten 고객은 공격적 사이버 활동, 화학·생물학적 오용, 보상 해킹 등을 선택하고 기록·상위 검토·차단을 설정할 수 있습니다. 따라서 단순한 해석 가능성 시연보다 모델 서비스의 운영 기능입니다.
핵심 주장은 경제성입니다. 지속 감독이 언제나 비싼 언어 판정을 뜻할 필요는 없습니다. 다만 Goodfire가 고른 모델과 실험 밖에서도 탐지력이 유지될지는 남았습니다. 초기 운영은 내부 상태를 얻을 수 있는 공개 모델 Kimi K3에 집중합니다.
대화 기록이 두 번째 계산 작업이 되는 이유
에이전트는 몇 시간 동안 프롬프트, 파일 읽기, 도구 응답, 코드, 재시도와 최종 답을 쌓습니다. 평범한 행동이 무단 연쇄의 일부인지 판정하려면 그 문맥이 필요합니다. 마지막 답만 보면 싸지만 실제 행동을 놓칩니다.
단계별 검토는 가시성을 높이는 대신 원 작업 옆에 다른 추론 부하를 만듭니다. 작은 감독 모델은 저렴해도 미묘한 행동을 놓칠 수 있고 긴 문맥은 중요한 실행 전 지연을 늘립니다. 표본 검사는 미검토 세션을 남깁니다. 고정 규칙은 알려진 명령을 잡아도 같은 결과의 간접 경로를 모두 잡지 못합니다.
활성값은 신경망이 정보를 처리하며 만드는 내부 수치 표현입니다. 프로브는 그 표현에서 학습한 작은 분류기로 전방 계산을 재사용합니다. 대화 전체를 새 언어 과제로 읽지 않습니다. 넓게 검사하고 비싼 판단을 일부에 집중하는 계단식 구조입니다.
보고된 해킹 세션 실험은 악성의 94%를 잡고 무해 세션의 8.7%를 검토로 보냈습니다. 후자도 사업성의 핵심입니다. 오탐은 모델과 사람 시간을 쓰며, 위험을 놓쳐 만든 낮은 경고율도 무의미합니다. 탐지, 오탐, 후속 부담을 함께 봐야 합니다.
발표 수치가 실제로 뜻하는 범위
프로브 네 개가 응답 시작까지 시간에 추가한 부담은 2% 미만이라고 회사는 설명합니다. 첫 응답 시간이지 모든 행동 지연이나 전체 비용의 보편 수치는 아닙니다. 큰 판정 모델을 계속 쓰는 것보다 싸다는 결과도 모든 트래픽에서 같은 절감률을 입증하지 않습니다.
기술 가이드의 별도 반복 실험은 재현율 99%, 오탐률 1%를 보고했습니다. 이를 94%·8.7% 실험과 합쳐 제품 전체 보장으로 쓰면 안 됩니다. 모델, 과제, 프로브, 조건이 다릅니다.
보상 해킹 연구는 공개 모델 세 개와 벤치마크 세 개에서 실행의 50~96%에 해킹을 보고했습니다. 의도한 일을 안 하고 평가기나 환경의 허점으로 점수를 얻는 행동입니다. 연구 가치를 보여도 모든 운영 작업이 같은 비율로 부정하다는 뜻은 아닙니다.
내부 신호를 읽는 것과 마음을 읽는 것은 다르다
훈련 사례, 관찰 계층, 분류기, 풀링, 임계값이 성능을 결정합니다. 표시된 행동과 활성값 관계를 학습하고 이후에도 유지되는지 시험합니다. Goodfire는 부정행위·탐지 회피 관련 방향, 강하게 반응하는 텍스트, 신호 증폭 뒤 행동 변화를 보고했습니다.
키워드보다 깊어도 완전한 읽을 수 있는 의도는 아닙니다. 고차원 상관관계는 점수를 주며 모델의 믿음을 인간처럼 설명하지 않습니다. 실무 질문은 개입할 행동을 충분히 빨리 예측하느냐입니다.
기록이 짧거나 불완전하면 시점이 중요합니다. 모델이 전체 계획을 말하기 전에 도구를 부를 수 있습니다. 내부 경고도 올바른 세션에 연결하고 실행 전에 정책을 강제해야 합니다. 늦은 경고는 조사 증거지만 전송 데이터나 완료된 파괴를 되돌리지 못합니다.
내부 접근은 기회이자 한계
공개 가중치와 추론 제공자는 활성값을 얻을 수 있습니다. 일반 폐쇄 API 고객은 출력과 호출을 받을 뿐 직접 프로브에 쓸 상태가 없습니다. 공급자가 내부 감시를 해도 고객의 외부 감시와 권한 제한은 남습니다.
Google DeepMind의 2026년 논문도 운영 프로브와 관련 연구의 Gemini 오용 탐지 기여를 설명합니다. 방향의 가능성을 지지하지만 다른 구현으로 전이를 증명하지는 않습니다.
Kimi K3 프로브가 다른 모델, 미세조정, 서빙 설정에서 유효하다고 가정하면 안 됩니다. 양자화, 프롬프트, 도구도 분포를 바꿉니다. 업데이트 때는 이름이 같은 안전 점수를 유지하지 말고 다시 시험해야 합니다.
Baseten은 여러 고객의 추론을 운영합니다. 9월 Base Labs·Goodfire·Hugging Face 협업은 공개 모델 평가와 감시를 대상으로 했습니다. 중앙 통합은 좋은 통제를 널리 주지만 약한 기본값도 많은 앱에 영향을 줍니다.
회피·오탐과 아직 없는 증거
익숙한 공격으로 학습한 탐지기는 낯선 전략을 놓칠 수 있고 공격자는 임계값 아래 방법을 찾을 수 있습니다. 9월 다중 에이전트 공모 연구는 감시를 알아도 강한 프로브가 유효하다고 했지만 특정 게임과 제한된 회차입니다. 프롬프트 적응은 가중치를 감시 회피에 훈련하는 공격과 다릅니다.
정당 보안 연구와 공격은 도구를 공유하고 생물 연구는 용어를 공유합니다. 임계값은 정책 선택이기도 합니다. 기록, 사람 검토, 자동 차단의 오탐 비용은 다릅니다.
핵심 성능은 Goodfire 자체 결과입니다. 모델 계열, 언어, 긴 업무, 바뀐 도구의 독립 재현이 필요합니다. 운영 증거에는 누락, 무해 검토 전송, 지연, 검토량, 업데이트 후 성능이 포함돼야 합니다.
활성 감시는 더 저렴할 수 있는 시야를 추가하지만 제한 자격 증명, 격리, 네트워크 통제, 로그와 중요 작업 승인을 대체하지 않습니다. 신호에서 검토와 적시 개입까지의 전체 연결이 정상 업무를 망치지 않고 실제 실패를 줄이는지가 가치를 결정합니다.