Sakana AI는 Multi-Agent Self-Supervision, 즉 MASS를 두 차례 완료했다. 같은 모델의 여러 복사본이 연구를 수행하고 평가한 뒤, 선별한 실행 궤적을 공유 후속 모델의 학습 데이터로 사용한다. 보고된 개선은 실제 실험 결과지만 고르지 않다. 연구 벤치마크는 좋아졌지만 소프트웨어 공학 벤치마크 두 개는 떨어졌다. 이는 범위를 정한 사후 학습이지 자율적인 지능 폭발의 증거가 아니다.
2026년 10월 8일 제출된 논문과 공개 구현은 과제 프롬프트, 학습 설정, 평가 도구와 파이프라인 문서를 제공한다. 동시에 '재귀적'이라는 표현이 해결하지 못하는 한계도 드러낸다. 완전한 주기는 두 번뿐이고 과제 집합은 작으며, 실행자·최적화자·평가자를 겸하는 모델이 같은 오류를 되풀이할 수 있다.
팀 작업을 모델 업데이트로 바꾸는 방법
일반적인 다중 에이전트 추론은 여러 인스턴스에 작업을 나누고 결과를 합치지만 기본 가중치를 바꾸지는 않는다. MASS는 메시지, 도구 호출, 중간 산출물과 결과를 학습 궤적으로 보존한다. 별도 인스턴스가 다른 일을 맡아도 모두 같은 모델을 공유한다. 독립적으로 학습한 전문가들이 아니다.
내부 루프는 가중치를 고정하고 프롬프트로 정의한 더 나은 워크플로를 찾는다. 여기에는 역할, 지침, 출력 계약과 통신 단계가 들어간다. 각 학습 과제에는 현재 최선의 워크플로가 있다. 후보 팀이 과제를 실행하면 모델이 작업 공간을 기존 최선의 결과와 비교하고, 최적화자가 그 판단으로 수정안을 제시한다.
워크플로를 선택한 뒤 MASS는 과제마다 18회 실행한다. 모델의 쌍대 비교로 작업 공간을 평가하고 Bradley–Terry 모델이 선호를 점수로 바꾼다. 최대 16개 궤적을 남기며, 15개는 학습 예시에, 하나는 검증에 쓸 수 있다. 미세조정 전에 조정자의 초기 학습 프롬프트에서 워크플로 본문을 제거한다. 제시된 계획을 복사하는 대신 과제를 보고 조직 방법을 추론하게 하려는 것이다.
외부 루프는 저랭크 적응인 LoRA로 제한된 매개변수를 미세조정한다. 조정자와 하위 에이전트의 대화 모두가 학습 대상이다. 업데이트된 모델은 다음 주기에도 세 역할로 돌아온다. 한 세대가 후속 모델의 데이터를 만들고 고른다는 점에서 재귀적이라는 표현은 가능하다. 다만 구조, 과제, 최적화 절차, 벤치마크, 계산 인프라와 주기의 경계는 사람이 정한다.
연구 성과와 명확한 전이 경계
기본 모델은 코딩 에이전트 환경의 Qwen3.6-27B다. 합성 과제는 금융·로보틱스·약학의 12개 연구로, 모두 코드와 정량 분석, 보고서를 요구한다. 9개를 학습용으로 지정했으나 실제 데이터를 제공한 것은 8개다. 분야별 하나씩인 3개는 미세조정, 검증과 체크포인트 선택에서 모두 제외했다.
GPT-5.5와 Claude Opus 4.8은 완성된 작업 공간을 비교하는 외부 평가자였지 학습 루프의 감독자가 아니었다. 유보한 3개 과제에서 기본 모델 대비 승률은 1차 모델 53.9%, 2차 모델 69.9%였다. 2차는 1차와의 비교에서도 60.8%로 이겼다. 학습 과제에서 기본 모델 대비 승률은 각각 65.6%, 82.5%였다. 더 높은 학습 과제 성과는 유보 과제 증거와 구분해야 한다.
공개 연구 벤치마크에서 Sakana는 2차 모델의 출력 토큰당 점수가 기본 모델의 1.2~1.6배라고 보고했다. MLR-Bench는 1.71에서 2.25로, 논문 제출률은 57%에서 76%로 올랐다. ScienceAgentBench는 28.8%에서 31.7%로 개선됐다. AstaBench E2E-Hard는 0.053에서 0.067로, 보고서 제출률은 50%에서 76%로 높아졌다. DSBench는 0.473에서 0.482로 소폭 변했다. 효율 비율이 높다고 작은 절대 점수 차이가 큰 상승으로 바뀌지는 않는다.
소프트웨어 공학은 반대였다. Terminal-Bench 2.0은 0.375에서 0.352로, SWE-bench Verified는 0.626에서 0.611로 하락했다. 토큰당 점수 비율도 각각 기본 모델의 0.96배와 0.94배였다. 모든 면에서 강해진 모델이라는 설명은 불가능하다.
과제 정렬은 그럴듯한 설명이다. 학습은 연구 보고서와 정량 증거, 코드를 강조했고 저장소 디버깅이나 터미널 작업은 포함하지 않았다. Sakana의 제안처럼 소프트웨어 과제를 추가하면 도움이 될 수 있으나 아직 검증되지 않았고 기존 능력에 간섭할 수도 있다. 진짜 전이 실험은 새 영역과 기존 능력 보존을 함께 확인해야 한다.
효율 수치에서 빠진 비용
학습 비교에서 다중 에이전트 학생 모델은 지도 학습 토큰 2,880만 개를 처리한 뒤 68.3% 승률에 도달했다. 가장 큰 단일 에이전트 학생은 4,200만 개 뒤 64%를 기록했다. 지도 학습 토큰을 31% 적게 쓰고 더 좋은 결과를 낸 것이지 전체 개발 비용 31% 절감이 입증된 것은 아니다.
선별 전 팀이 생성한 토큰은 평균 약 2.4배였다. 외부 평가자는 단일 에이전트 결과와의 비교에서 85.1% 확률로 팀 결과를 선호했다. 궤적 길이가 비슷한 10쌍에서도 팀이 80%로 이겼다. 조정과 선별이 유용한 예시를 만든다는 신호지만 위임만의 효과를 분리하지는 못한다. 워크플로와 검증 지침도 달랐기 때문이다.
출력 토큰당 점수는 생산적인 출력의 척도이지 전체 파이프라인 비용이 아니다. 워크플로 탐색, 반복 실행, 비교, 데이터 생성과 평가에도 추가 계산이 든다. 지도 학습 토큰 총계에는 입력 토큰과 여러 상류 비용이 빠져 있다. 따라서 MASS가 뒷받침하는 것은 선별 데이터의 학습 밀도가 높다는 주장이고, 전체 개발 효율에는 완전한 비용 집계가 필요하다.
역할 연기보다 중요한 정보 계약
탐색은 역할, 지침, 계약과 통신 단계를 바꾼다. 계약은 반환할 증거나 산출물을 정하고, 통신 단계는 정보를 다른 담당자에게 보내거나 재검토로 돌리는 때를 정한다. 여러 복사본에게 연구자·비평가·편집자 역할을 맡기는 것보다 구체적이다.
금융 예시에서 에이전트들은 데이터 준비, 특성 구성, 모델링, 백테스트, 감사, 대조와 보고를 나눠 맡는다. 데이터 담당은 과거 의사결정에 미래 정보가 새어 들어갔는지 밝혀야 한다. 이는 실제 실패를 겨냥한다. 훌륭해 보이는 백테스트가 당시 이용할 수 없던 데이터를 썼을 뿐일 수 있다.
Sakana의 텍스트 분석에서는 과제 정보가 역할이나 일반 지침보다 계약과 통신 순서에 점점 집중됐다. 그러나 비교에 따라 표본은 8개 또는 9개 과제뿐이며, 상호정보량 추정은 실행 중 모든 메시지가 아니라 워크플로 텍스트를 다룬다. 작동 원리의 단서이지 광범위한 인과 증명은 아니다.
이전의 다중 에이전트 토론 연구는 답변과 비평을 주고받아 얻는 개선을 살폈다. MASS는 선별한 집단 행동을 가중치로 옮긴다. 조정자 궤적은 분해와 조정을, 하위 에이전트 궤적은 범위가 정해진 작업을 가르친다. 검색 가능한 기술 지식 기반은 검사 가능한 증거와 결정을 보존하는 조직적 가치를 보여주지만 MASS를 독립 검증한 것은 아니다.
최적화자와 평가자가 공유하는 한계
한 모델이 세 역할을 맡으면 계속 더 강한 교사에 의존할 필요가 줄지만 상관된 실패가 생긴다. 실행자가 과제를 오해하고 평가자가 그 오해를 보상하면 다음 모델은 더 확신하며 오류를 학습할 수 있다. 무작위 표본과 전문 분담은 행동 차이를 만들 뿐 독립된 학습 역사나 판단을 보장하지 않는다.
Sakana의 프로젝트 소개는 공유 맹점을 안전 문제로 규정한다. 세 모델 세대를 거치며 내부·외부 평가자 일치율은 73%에서 93%로 올랐다. 해당 과제의 긍정적 신호지만 정확성 증명은 아니다. 평가자들이 같은 가정을 공유하거나 세련된 보고서를 좋아하면서 실제 실험이 필요한 오류를 놓칠 수 있다.
최적화자 능력도 제약이었다. 기본 Qwen을 실행자로 유지한 실험에서 GPT-5.5를 평가자로만 쓰면 개선이 제한적이었다. 평가자와 최적화자로 함께 쓰면 5회 이내 탐색으로 12개 과제 모두에서 이기는 워크플로를 찾았다. 동질적 루프는 결국 12개 중 11개에서 찾았지만 최대 13회가 필요했다. 좋은 비평을 더 나은 절차로 바꾸지 못하면 평가가 정확한 것만으로는 부족하다.
탐색도 불안정했다. 좋은 반복 뒤에 급격한 후퇴가 나타날 수 있었다. 원문이 인용한 커뮤니티 비판은 재귀적이라는 명칭과 두 번 만에 멈춘 이유를 물었다. 더 좁은 해석은 사람이 정한 경계 안의 반복적 워크플로 탐색과 지도 미세조정이다. 제한 없는 자기 재작성이나 무한한 진보를 입증하지 않았다.
능력과 함께 감독도 발전해야 한다
자동 성공 규칙이 없는 연구는 특히 자기확인에 취약하다. 일관된 보고서도 개념 오류나 반증 누락을 포함하고, 잘 실행되는 코드가 잘못된 목표를 구현할 수 있다. 모델의 합의만으로 과학적 새로움, 전략, 가치나 안전을 결정할 수는 없다.
OpenAI의 추론 감시 가능성 연구는 추론 궤적이 행동과 최종 답변보다 많은 정보를 드러내지만 감시는 불완전하며 에이전트와 감시자 모두에 달려 있다고 설명한다. MASS의 풍부한 궤적은 검사 기회와 숨을 공간을 함께 만든다. 보이는 추론을 최적화하면 실제 행동을 고치지 않고 설득력 있는 설명만 보상할 수 있다.
Anthropic의 재귀적 자기 개선 논의도 감독, 타당성 확인과 검증을 강조한다. 독립 점검에는 외부 모델, 분야 전문가, 실행 테스트, 신뢰할 데이터 경로, 적대적 평가와 시간차를 둔 현실 검증이 있다. 어느 하나도 모든 실패를 다루지 못하며 여러 모델의 일치도 같은 편향일 수 있다.
결정적인 다음 실험은 추가 주기, 기존 능력을 잃지 않는 전이, 의도적으로 심은 공유 맹점으로부터의 회복이다. 외부 평가자가 결함을 잡는 데 그쳐서는 안 된다. 루프가 워크플로를 고치고 잘못된 궤적을 학습에서 제외해야 한다. 현재 MASS는 범위를 정하고 증거를 중시하는 연구팀에서 밀도 높은 학습을 얻을 수 있음을 보여준다. 무제한 재귀 개선을 입증하거나 중대한 결정에서 사람의 검토를 없앨 근거는 아니다.