제안된 AI 초지능 금지안을 읽는 방법

버니 샌더스 상원의원과 그레그 카사르 하원의원은 2026년 9월 3일 Ban Artificial Superintelligence Act라는 제안을 발표했다. 공개된 틀은 ‘인공 초지능’의 개발·배포를 영구 금지하고, 연방 규제기관이 만들어질 때까지 고도 AI 개발을 일시 중단하며, 국제 협력을 추진하겠다는 내용이다. 이는 중대한 정책 입장이지만, 아직 시행 중인 법도 아니고 전문을 검토할 수 있는 법안도 아니다.

바로 그 차이에서 판단을 시작해야 한다. 의원들의 발표문은 향후 입법을 설명하고, 독립 보도는 검토 당시 전문이 공개되지 않았다고 전했다. 정책 요약은 목표를 보여 줄 수 있지만, 법률·행정기관·법원이 답해야 할 모든 질문을 해결하지는 못한다.

먼저 입법 상태를 확인해야 한다

정치적 발표는 종종 입법이 끝난 것처럼 읽힌다. 대신 네 가지를 물어야 한다. 법안 번호가 있는가? 전문이 공개되었는가? 어느 위원회가 관할하는가? 추가 공동발의자나 짝을 이루는 법안이 있는가? 답이 나오기 전까지 책임 있는 표현은 ‘제안된 틀’이지, 기업이 이미 따라야 하는 연방 금지 조치가 아니다.

이는 단순한 절차 문제가 아니다. ‘고도 AI 개발’, ‘초지능’, 장관급 새 규제기관 같은 표현은 정의, 예외, 시점, 집행 방식에 따라 전혀 다른 활동을 포괄할 수 있다. 짧은 보도자료만으로는 학습 실행, 미세조정, 기존 모델 위의 에이전트 소프트웨어, 공개 연구, 배포된 기업 서비스 중 무엇이 대상인지 알 수 없다.

의원들의 요약문은 출발점이 된다. 광범위한 영역에서 인간의 인지 능력과 같거나 그 이상인 시스템, 또는 인류의 권한 상실을 계획하고 실행할 수 있는 시스템을 초지능으로 설명한다. 종료 명령을 우회하는 능력도 우려 요소로 든다. 그러나 이는 아직 재현 가능한 준수 시험이 아니라 정책 개념이다.

무엇을 측정할 수 있는지 물어야 한다

지속 가능한 규칙에는 개발자, 규제기관, 외부 검토자가 일관되게 적용할 수 있는 기준이 필요하다. 광범위한 인간 수준 성능은 운영 정의가 어렵다. 사람의 능력은 과제마다 다르고, AI 결과는 벤치마크, 시스템 프롬프트, 도구, 샘플링 설정, 운영자 숙련도에 따라 달라진다. 모델은 좁은 기술 과제에서 다수의 사람보다 뛰어날 수 있어도 기본적 맥락에서는 오류를 낼 수 있다.

역량 기반 규칙은 더 구체적일 수 있지만 역시 세부 사항이 필요하다. 시스템이 무단 사이버 작업을 했다고 주장하려면, 검토자는 모델 버전, 허용 도구, 자격 증명, 대상 환경, 시도 횟수, 성공 기준을 알아야 한다. 그렇지 않으면 보조된 시연과 반복 가능한 자율 결과가 같은 제목으로 보도될 수 있다.

종료 저항도 마찬가지다. 적대적 평가는 모델이 설계가 나쁜 샌드박스를 우회함을 보일 수 있다. 이는 중요한 보안 발견이지만, 그 자체로 지속적인 독립 목표나 법적 초지능 정의 충족을 증명하지는 않는다. 좋은 법은 모델 행동, 불안전한 연결 구조, 운영자 선택, 실제 피해를 구분해야 한다.

집행은 비례적이고 검토 가능해야 한다

이 틀은 사업 수행 능력 상실과 형사 처벌을 포함한 강한 제재를 상정한다. 결과가 심각할수록 통지, 기술적 증거, 분류에 이의를 제기할 기회, 명확한 불복 절차가 더 중요하다. 다툼이 있는 판단을 검토하는 동안 데이터, 계약, 필수 서비스, 직원에게 어떤 일이 일어나는지도 기업과 고객이 알아야 한다.

AI 조직 안에서도 책임은 동일하지 않다. 통제된 평가를 수행하는 연구자, 커넥터를 구성하는 엔지니어, 프런티어 학습을 승인하는 임원은 같은 통제력을 갖지 않는다. 최종 문안은 방어적 시험, 사고 연구, 책임 있는 공개를 위한 안전지대를 두되 의도적 회피는 금지해야 한다.

규제기관은 기밀 시스템을 검사하면서 모델 가중치나 보안 발견을 새로운 노출로 만들지 않을 기술 역량이 필요하다. 이는 연구소의 공개 안전 주장만 요구하는 방식보다, 보호된 평가 절차, 문서화된 시험 프로토콜, 독립 기술 자문을 가리킨다.

국내 중단에는 국제적 이론이 필요하다

국제적 목표는 부수적인 것이 아니다. 미국의 일방적 제한은 국내 개발을 줄이면서도 다른 곳의 역량 개발은 계속되게 할 수 있다. 지지자는 공동 제한 없는 경쟁이 집단적 위험을 키운다고 답할 수 있고, 비판자는 국경을 넘어 중단을 어떻게 검증할지를 물을 수 있다. 둘 다 정치적 선호만이 아니라 실행의 문제다.

소프트웨어, 전문지식, 모델 가중치는 이동할 수 있으므로 AI는 물리적 무기 프로그램보다 통제가 어렵다. 대규모 학습은 여전히 칩, 데이터센터, 자본, 전문 인력에 의존하므로 정부가 볼 수 있는 지점이 있다. 그러나 더 효율적인 알고리즘과 분산된 접근은 단순한 인프라 기준을 불완전하게 만든다.

신뢰할 만한 국제 전략에는 공통 정의, 보고 규칙, 검증 절차, 회피에 대한 결과가 필요하며, 정당한 안전 연구도 보호해야 한다. 특정 유해 사용에 관한 더 좁은 합의는 보편적 지능 경계보다 검증하기 쉬울 수 있지만, 이는 제안된 범주적 금지와 다른 정책이 된다.

프런티어 법을 기다리지 말고 에이전트를 보호하라

이 발표는 AI 에이전트 보안 실패 보도와 연결되어 왔다. 그 보도는 신중히 조사할 가치가 있지만, 일반적인 보호 조치를 미룰 이유가 되어서는 안 된다. 연결된 에이전트는 초지능이 아니어도 광범위한 자격 증명, 검토되지 않은 네트워크 접근, 행동 실행 권한을 가지면 실질적 위험을 만들 수 있다.

실제 배포에서는 계정 신원, 정보 흐름, 도구 권한, 사람의 승인 지점을 따로 검토해야 한다. 금융 보조자는 결제를 준비할 수 있지만, 무제한 은행 자격 증명을 보유하면서 자신의 이체를 승인해서는 안 된다. 코딩 에이전트는 저장소를 읽을 수 있지만, 프로덕션 배포와 비밀 접근은 별도의 기록되는 행동으로 남아야 한다. 단기 자격 증명, 범위가 제한된 서비스 계정, 승인 관문, 시험된 비활성화 경로는 지금 사용할 수 있는 구체적 통제다.

이 지점에서 규제는 수사보다 유용할 수 있다. 사고 보고 의무, 평가 기준, 접근 통제 기대치, 독립 감사는 관찰 가능한 행동을 겨냥한다. 이는 어떤 역량은 아예 개발되어서는 안 되는지에 관한 더 큰 논쟁과 공존할 수 있다.

다음에 볼 것

전문이 제출되면 제안은 더 평가하기 쉬워진다. 법안 번호, 포괄되는 시스템·개발의 정의, 중단의 명시적 시작·종료, 규제기관 권한, 연구 예외, 적법절차 규칙, 최초 발의자 외의 의회 지지를 살펴야 한다. 이런 세부 사항은 이 틀이 집행 가능한 프로그램이 될지, 아니면 더 날카로운 공개 토론을 촉발하는 데 머물지를 보여 준다.

초기 정책 제안에 대한 올바른 반응은 무시도 성급한 확신도 아니다. 정책 목표와 법적 장치를 분리하고, 시험 가능한 정의와 검토 가능한 집행을 요구하며, 오늘 AI 위험을 줄이는 운영 통제를 계속 개선하는 일이다.