Human-on-the-Loop은 AI 감독과 자율성의 새로운 모델입니다. 이 개념을 또 하나의 AI 유행어로 다루기보다 실제 결정과 연결하면 훨씬 쉽게 활용할 수 있습니다. 이 AI Tools Radar 가이드는 작동 원리와 중요한 장단점, 도구나 워크플로를 도입하기 전에 물어야 할 질문에 집중합니다.
Human-in-the-loop AI는 수십 년간 기본 안전 패러다임이었습니다. 모든 AI 결정에 사람의 승인이 필요했습니다. 이제 그 모델이 무너지고 있습니다. 2026년 에이전트형 AI 시스템은 다단계 작업을 자율적으로 완료하며, 인간의 역할은 운영자에서 감독자로 이동하고 있습니다. 이 변화에는 이름과 점점 늘어나는 연구가 있습니다.
2026년 2월 Anthropic은 ‘모든 합법적 사용’이라는 네 단어 때문에 2억 달러 규모의 미국 국방부 계약을 포기했습니다. 방위 조달에서 표준적인 이 조항은 기관이 사용 사례마다 공급자와 재협상하지 않고 법이 허용하는 모든 목적으로 기술을 배포할 수 있다는 뜻입니다. Anthropic은 서명을 거부했습니다. 사람이 결과가 큰 모든 행동을 검토하고 승인하며 책임질 수 없는 환경에 AI를 배포할 수 없다는 입장이었습니다.
3개월 뒤 같은 회사는 QuickBooks, PayPal, HubSpot에서 사람이 단계마다 검토하지 않아도 미수금을 추적하고 영업 리드를 분류하며 경영 상태 보고서를 만드는 Claude for Small Business를 출시했습니다. 여러 파일의 프로젝트에서 최소한의 개입으로 코드를 작성하고 시험하며 배포하는 Claude Code도 공개했습니다. 또한 모델의 결론 도출 방식을 모르는 수백만 명이 사용하는 도구에 AI 기능을 제공합니다.
이는 위선이 아니라 2026년 AI 거버넌스의 핵심 긴장입니다. 기술은 human-in-the-loop 모델을 넘어섰지만 무엇으로 대체할지 합의되지 않았습니다. 새롭게 떠오르는 답이 human-on-the-loop입니다.
• Human-in-the-loop(HITL)는 AI 행동마다 사전 승인을 요구하고, human-on-the-loop(HOTL)는 AI가 자율적으로 행동하되 사람이 감시하며 필요할 때만 개입합니다. • 전환을 이끄는 힘은 세 가지입니다. AI 에이전트가 독립적으로 행동할 만큼 강해졌고, 배포 규모 때문에 행동별 검토가 불가능해졌으며, 자동화의 경제적 압력이 2023~2025년의 안전 우선 태도를 압도하고 있습니다. • Anthropic의 국방부 계약 거부는 논쟁의 극단을 보여줍니다. 일부 기업 관점에서 미수금 추적에는 HOTL이 가능하지만 기밀 군사 응용에는 허용할 수 없습니다. • 모든 조직이 물어야 할 질문은 ‘사람을 루프 안에 둘 것인가’가 아니라 ‘위험, 비용, 결과가 어느 임계점에 이를 때 사람이 개입할 것인가’입니다.
Human-in-the-loop과 human-on-the-loop의 명확한 차이.
Human-in-the-loop(HITL)는 더 오래되고 널리 이해되는 모델입니다. AI가 권고나 출력을 만들면 행동 전에 사람이 검토하고 승인합니다. 사람은 관문이며 열어 주지 않으면 아무 일도 일어나지 않습니다.
AI 행동이 개별적이고 드물며 각각의 결과가 클 때 잘 작동합니다. 영상에서 AI가 표시한 이상을 검토하는 영상의학과 의사, AI 신용 결정을 승인하거나 거절하는 대출 담당자, 자동조종 권고를 수락하거나 무시하는 조종사가 그 예입니다. AI는 돕지만 행동하지 않고 사람이 결정권을 유지합니다.
Human-on-the-loop(HOTL)는 이 조건이 깨질 때 나타납니다. AI가 연속적인 결정을 자율적으로 실행하고 사람은 감독 위치에서 감시합니다. 사람은 관문이 아니라 중단 권한을 가진 관찰자입니다. 이론에서는 미묘하지만 실제 차이는 매우 큽니다.
Deloitte의 기업 AI 분석은 이를 정확히 설명합니다. “Human-on-the-loop으로의 전환은 강력한 AI 에이전트 거버넌스와 감독이 필요한 자동화 형태다. 다중 에이전트 시스템은 지속적으로 개선되도록 훈련할 수 있지만 적절한 투명성과 감시가 없으면 통제 불능이 될 수 있다.” HITL는 사람이 승인해야 하므로 나쁜 행동을 예방합니다. HOTL은 나쁜 행동이 발생한 뒤 감지하고 사람이 피해를 제한할 만큼 빨리 개입하기를 기대합니다. 철학이 아니라 실수를 예방하는 것과 발견하는 것의 차이입니다.
이 구분은 2023년 AI 도구와 2026년 AI 에이전트의 차이에 그대로 대응합니다. 2023년 ChatGPT는 모든 응답에 프롬프트가 필요하고 사람이 출력 사용 여부를 정하는 HITL이었습니다. 2026년 Google Gemini Intelligence는 여러 앱에서 식당을 예약하고 양식을 채워 확정한 뒤 보고하는 HOTL입니다. 사람은 최초 지시와 확인만 받고 중간 단계에는 관문이 없습니다.
*세 가지 구조적 힘이 AI 시스템을 HITL에서 HOTL로 밀고 있으며 어느 것도 느려지지 않습니다.
첫째는 기술입니다. 2023년 AI는 텍스트와 이미지를 만들 수 있었지만 인터페이스 탐색, 양식 작성, 앱 간 판단이 필요한 다단계 작업을 안정적으로 끝내지 못했습니다. 2026년에는 가능합니다. Claude Code는 프로젝트 전체의 코드를 자율적으로 작성·시험·배포하고, Gemini Intelligence는 사용자가 화면을 건드리지 않아도 Chrome에서 예약하며, OpenAI Codex는 데스크톱 앱을 제어합니다.
AI가 제안만 만들 때 HITL은 자연스러웠습니다. AI가 제안하고 사람이 결정했습니다. 전체 워크플로를 실행할 수 있게 되면 사람이 병목이 됩니다. Claude가 보내는 모든 미수금 이메일과 분류하는 리드, 커밋하는 코드 변경을 사람이 검토하는 것은 안전을 더하기보다 AI 사용 목적을 무너뜨리는 지연을 만듭니다. 역량이 임계점을 넘어 HOTL은 허용 가능한 수준을 넘어 완전한 가치를 내기 위한 유일한 모델이 됐습니다.
둘째는 배포 규모입니다. GitHub Copilot은 이제 400만 개 커밋의 공동 작성자이고 Google Gemini Intelligence는 300억 대 Android 기기에 배포되고 있습니다. 기업 소프트웨어의 AI 에이전트는 하루 수백만 건의 거래를 처리합니다. 모든 AI 코드 줄과 이메일 답변, 분류 티켓을 승인할 사람을 충분히 고용하는 것은 수학적으로 불가능합니다.
HITL에서 HOTL로의 전환은 기술적 선택이면서 수학적 필연입니다. AI가 한 시간에 인간 팀이 1년간 검토할 수 있는 것보다 많은 결정을 처리한다면 HOTL 사용 여부가 아니라 안전하게 실패하는 HOTL을 어떻게 설계할지가 질문입니다.
셋째는 경제입니다. AI 업계는 2026년 1분기에만 벤처 자금 3,000억 달러를 유치했습니다. 자율 AI 에이전트를 약속해 투자받은 기업은 이제 실제 제품을 내놓아야 합니다. ‘조심하고 시험하며 안전을 우선한다’는 2023~2025년 태도는 매출 목표, 고객 기대, 경쟁 압력이라는 2026년 현실과 충돌합니다.
Anthropic의 국방부 계약 거부는 이런 맥락에서 이해해야 합니다. 단순한 안전 결정이 아니라 경계를 긋는 일이었습니다. 미수금 추적에는 HOTL이 허용되지만 자율 행동과 사람 개입 사이가 몇 초이고 결과를 되돌릴 수 없는 군사 응용에는 허용되지 않는다는 입장이었습니다. 업계는 각 기업이 어디에 선을 그을지 지켜보고 있습니다.
감독 문제: 사람이 더 이상 관문이 아닐 때 생기는 일.
HOTL의 핵심 과제는 기술이 아니라 인지입니다.
사람이 모든 AI 결정을 검토하면 짧게라도 행동마다 주의를 기울입니다. 감독 위치에서 AI 결정의 흐름을 감시하면 대부분 올바르게 작동하는 시스템에 지속적으로 집중해야 합니다. 이는 경계 과제이며 사람은 경계 과제에 매우 약합니다.
자동화 안일함에 관한 연구는 수십 년 동안 일관됐습니다. 자동 시스템이 90% 이상 안정적으로 작동하면 운영자는 관여를 줄이고 이상 반응 시간은 늘며 미묘한 오류를 감지하는 능력은 떨어집니다. 시스템이 진화하는 동안 주의가 다른 곳에 있어 행동에 관한 정신 모형도 낡아집니다. 1990년대 항공 자동조종 연구에서 확인된 현상이 2026년 AI 에이전트 배포에서 다시 나타나고 있습니다.
따라서 HOTL에는 HITL과 다른 감독 인프라가 필요합니다. HITL에는 승인 워크플로가 필요하지만 HOTL에는 이상 탐지, 경보 임계값, 개입 절차서, 드문 실패 상황의 대응을 연습할 시뮬레이션 환경이 필요합니다. 2026년 AI 에이전트를 배포한 조직 대부분은 승인 워크플로는 갖췄지만 나머지는 거의 없습니다.
Deloitte의 에이전트 관찰 가능성 프레임워크는 HOTL 감독을 세 계층으로 나눕니다. 투명성(사람이 실시간으로 에이전트 행동을 볼 수 있는가), 추적성(사후에 특정 결정의 이유를 재구성할 수 있는가), 통제 가능성(적절한 세부 수준에서 일시정지, 방향 전환, 무시, 롤백할 수 있는가)입니다. 2026년 배포된 에이전트는 통제 가능성은 높지만 투명성과 추적성은 낮습니다. 끌 수는 있어도 실시간 결정 과정을 보기는 어렵습니다.
HOTL의 적합성은 잘못된 결정의 비용과 그 결정의 되돌림 가능성이라는 두 변수에 달려 있습니다.
미수금 추적은 이상적인 HOTL 사례입니다. 잘못된 이메일의 비용은 낮고(공급자의 불쾌감), 정정 메일로 되돌릴 수 있습니다. 사람은 행동마다 보지 않고 “이상한 것은 표시하면 검토하겠다”는 예외 수준에서 감시할 수 있습니다.
자율 무기는 극단적인 반대 사례입니다. 잘못된 결정의 비용은 생명이고 행동은 되돌릴 수 없습니다. 결정부터 결과까지의 시간이 사람이 중단하기에는 너무 짧을 수 있습니다. Anthropic이 거부한 사례이며 자동화 안일함을 연구한 사람에게 HOTL이 무서운 개념이 되는 이유입니다.
두 극단 사이에 경제 대부분이 있습니다. 의료 진단 AI는 비용이 높고 부분적으로 되돌릴 수 있으며, 금융 거래 AI는 비용이 높고 시장 속도에서는 되돌릴 수 없습니다. 법률 문서 검토는 중간 비용에 되돌릴 수 있고, 고객 서비스 AI는 저비용에 되돌릴 수 있습니다. 각 분야는 AI 공급자의 기본 설정이 아니라 자체 오류 허용도에 따라 인간 개입 임계값을 정해야 합니다.
질문: Human-on-the-loop은 human-in-the-loop보다 덜 안전한가요?
답변: 분야와 감독 인프라에 달려 있습니다. 행동별 검토가 감당할 수 없는 지연을 만드는 대량·저위험 분야에서는 사람이 형식적으로 승인만 하는 나쁜 HITL보다 HOTL이 더 안전할 수 있습니다. 결과가 크고 되돌릴 수 없는 분야에는 HITL이 적합합니다. 위험은 HOTL 자체가 아니라 안전하게 만드는 감시, 경보, 개입 인프라 없이 배포하는 것입니다.
질문: Human-on-the-loop과 완전 자율 AI는 어떻게 다른가요?
답변: 완전 자율 시스템에는 사람의 감독도 개입 장치도 없습니다. HOTL은 인간 감독을 유지하지만 행동 전에서 행동 중이나 후로 옮깁니다. 사람은 여전히 책임을 지며 차이는 개입의 존재가 아니라 시점입니다.
질문: 어떤 산업이 HOTL로 가장 빠르게 이동하나요?
답변: 소프트웨어 개발(AI 코딩 에이전트), 고객 서비스(전체 해결 경로를 처리하는 AI 챗봇), 금융 운영(자동 미수금 처리와 사기 탐지)이 앞서갑니다. HITL이 어려운 많은 거래량과 물리적 피해보다 주로 금전적인 오류 비용이라는 공통점이 있습니다.
답변: HOTL은 직업을 없애기보다 역할을 바꿉니다. 개별 거래를 승인하던 운영자가 시스템 전체 성과를 감시하고 예외를 처리하는 감독자가 됩니다. 역량 요건도 실행 속도에서 진단 능력으로 옮겨갑니다. 제조 자동화와 항공 자동조종에서도 직접 운영 인원은 줄고 남은 인력에게 필요한 숙련도는 높아졌습니다.
질문: 특정 AI 응용에는 규제가 human-in-the-loop을 요구할까요?
답변: EU AI Act는 이미 고위험 AI에 인간 감독을 요구하지만 메커니즘은 명시하지 않습니다. 2026년 논쟁은 HOTL도 ‘인간 감독’을 충족하는지, HITL이 필요한지입니다. 의료기기는 HITL, 금융 사기 탐지는 HOTL을 허용하고 자율 무기는 금지하는 등 분야별로 달라질 가능성이 큽니다. 규제는 작성 중이며 2026~2027년 결정이 향후 10년의 AI 산업을 형성할 것입니다.
SEO 메타데이터. 제목: Human-on-the-Loop: AI 감독과 자율성의 새로운 모델 메타 설명: Human-on-the-loop은 AI 감독을 사전 승인에서 상시 감시로 바꿉니다. HITL과의 차이, 확산 이유, 업무에 미치는 영향을 알아보세요. 주요 키워드: human in the loop AI 추천 스니펫 대상: human on the loop이란 연관 키워드: human on the loop, HITL과 HOTL 비교, AI 에이전트 감독, 인간 감독 AI 난이도: 중급 읽기 시간: 11분 단어 수: 약 2,500개
사용한 외부 참고 자료. 1. “Human-on-the-loop으로의 전환은 강력한 AI 에이전트 거버넌스가 필요한 자동화 형태다” — Deloitte AI Agent Observability, https://www.deloitte.com/us/en/services/consulting/articles/ai-agent-observability-human-in-the-loop.html
권장 URL 슬러그. /blog/human-on-the-loop-ai-oversight-autonomy
실용적인 판단 기준은 이 접근법이 출처와 비용, 실패 가능성을 숨기지 않으면서 반복 업무를 개선하는지 여부입니다. 대표적인 작업으로 시작하고, 실수가 중요한 지점에는 사람의 검토 단계를 두며, 모델과 제품이 바뀔 때마다 결과를 다시 평가하세요.
1차 자료, 제품 문서, 실제 활용 사례를 바탕으로 해당 도구가 여러분의 업무 흐름에 맞는지 더 쉽게 판단할 수 있도록 돕습니다.