IBM Granite 팀은 11월 12일 LLMON 실험용 프리뷰 두 종을 공개했습니다. 에이전트 프롬프트에서 지시와 신뢰할 수 없는 데이터가 구분 없이 전달되는 약점을 겨냥합니다. 발표 글은 Granite 4.1 3B와 8B 기본 체크포인트에서 파생된 모델을 소개합니다.
LLMON은 LLM Object Notation의 약자로, 모델 문맥에 명시적 구조와 관계를 더합니다. 팀은 대응하는 Granite Instruct에 가까운 일반 능력을 유지하면서 간접 프롬프트 주입 저항성이 높아졌다고 보고합니다.
이번 공개는 탐색과 평가를 위한 실험용 프리뷰이며 운영용이 아니라고 명시합니다. 동작은 강제되는 것이 아니라 학습된 것이고, 보안 결과는 정적 공격에 관한 것입니다.
의미 있는 블록으로 암묵적 관계를 명시한다
에이전트 문맥에는 시스템 지시, 이전 대화, 검색 문서, 도구 응답, 출력 요구사항과 추론이 들어갑니다. 일반 텍스트나 JSON으로 이를 표현해도 언어 모델이 관계를 확실하게 이해한다는 보장은 없습니다.
LLMON은 예약된 특수 토큰 구분자로 의미 있는 태그를 감쌉니다. 일관된 구성요소를 별도 블록으로 나누고 고유 식별자를 부여합니다. 실행 블록은 지시, 입력 데이터, 적용 요구사항과 출력 목적지를 지정합니다.
이로써 의도한 의존 관계가 명시됩니다. 문서는 지시가 처리할 자료가 될 수 있지만 그 자체가 지시가 되지는 않습니다. 관련 없는 대화나 도구 출력은 문맥에 남겨도 현재 작업에 연결하지 않을 수 있습니다.
일반 JSON에 대한 비판은 파서의 정확성이 아닌 모델의 해석에 관한 것입니다. 따옴표와 괄호는 구문과 본문 모두에 나타납니다. 인과 언어 모델은 통계적으로 이를 구별하고 긴 구간의 중첩을 추적해야 합니다. LLMON은 구조 구분자를 일반 내용 어휘와 분리하고 중첩을 국소적으로 표현합니다.
프로젝트는 JSON과 LLMON 사이의 무손실 변환 도구를 제공합니다. 애플리케이션 교환 형식으로 JSON을 버릴 필요는 없습니다.
대화 템플릿은 계속 화자를 식별한다
LLMON은 대화 템플릿의 역할 구조를 대체하지 않고 보강합니다. 표준 역할은 누가 말하는지, LLMON은 각 구성요소의 의미와 관계를 나타냅니다.
프리뷰 모델은 자체 템플릿을 포함합니다. 앱은 기존처럼 messages 목록을 구성하고 apply_chat_template을 호출할 수 있습니다. 이름 있는 구성요소에 exec 플래그를 붙여, 활성 부분은 실행 블록에 연결하고 비활성 부분은 참조 없이 남깁니다.
글의 예시는 IBM에 관해 쓰라는 지시, 데이터인 회사명, 두 가지 출력 제약을 분리합니다. 실행 블록은 이들을 이름 있는 assistant 출력 블록에 연결합니다. 보통의 평탄화된 대화 턴에서는 모델이 더 많은 관계를 추론해야 합니다.
두 글자 블록 ID는 토크나이저 전용 집합에서 선택됩니다. 팀에 따르면 어떤 ID든 블록 주소 지정에는 두 토큰이 듭니다. 구성요소 내부의 구조화된 데이터도 불투명한 문자열 대신 타입이 있는 주소 지정 가능 블록으로 바꿀 수 있습니다.
프롬프트 주입 결과에는 명확한 경계가 있다
간접 프롬프트 주입은 검색 문서나 도구 응답처럼 에이전트가 읽어야 하는 자료에 악성 지시를 숨깁니다. LLMON의 분리는 이 데이터가 지시 권한을 얻지 못하도록 하는 것이 목적입니다.
팀은 OPI에서 평가하고, 견고성을 1에서 공격 성공률을 뺀 값으로 보고합니다. LLMON이 시험한 최상위 프런티어 모델보다 47%, 최상위 오픈소스 모델보다 95% 더 많은 공격을 피했다고 합니다. 이는 저자의 상대 비교 주장이지 퍼센트포인트 개선이나 여기서 재현한 측정이 아닙니다.
ASB와 StruQ에서도 비슷한 경향을 보고합니다. 핵심은 이 벤치마크가 정적 간접 주입을 평가한다는 점입니다. 여러 대화 턴에 걸치는 적응형 공격에 대해서는 아직 개선 중이라고 합니다.
일부 벤치마크에서 공격 성공률이 거의 0이어도 프롬프트 주입 전반에 면역이라는 뜻은 아닙니다. 공개 글은 권한 규칙을 강제 보장이 아닌 학습된 동작이라고 명시합니다.
학습으로 의존 구조를 가르친다
이미 출시한 Instruct 모델에 형식을 덧붙이지 않고 Granite 기본 체크포인트에서 시작합니다. 여섯 구분자를 예약된 단일 토큰으로 설치하고 일반 지시 학습 말뭉치를 주소 지정 가능한 구성요소와 실행 블록으로 다시 직렬화합니다.
학습에는 채팅, 다중 턴 대화, 검색 증강 생성, 도구 호출이 포함됩니다. 연결되지 않은 미끼 지시와 데이터를 넣어도 목표 출력은 유지합니다. 문맥의 모든 지시처럼 보이는 문장 대신 실행 블록의 의존 관계를 따르도록 가르칩니다.
저자는 다영역 추론, 사람의 피드백, 지식 보정, 수학을 다루는 순차적 GRPO 강화학습 다섯 단계를 설명합니다. 마지막 DPO 선호 학습은 주입 시도에 대한 모델 응답에서 얻은 온폴리시 선호 쌍 1,000개를 사용합니다.
표준 벤치마크 범주에서는 Granite 4.1 Instruct와 비슷한 성능이라고 보고합니다. 이는 보고된 평가에 해당하며 모든 앱과 데이터 형식에서 품질이 그대로라는 증거는 아닙니다.
자체 어휘도 가능하지만 평가가 필요하다
ScienceWorld 예시는 목표, 계획 규칙, 방 상태, 소지품과 다음 행동을 위한 도메인 태그를 보여줍니다. 팀은 참조 궤적을 변환하고 LoRA 어댑터를 학습한 뒤 학습에서 제외한 시뮬레이터 게임으로 평가했습니다.
새 어휘가 계획 구조를 표현하는 방법을 보여주는 사례입니다. 시뮬레이터 결과가 현실 환경에서 안전한 자율 동작의 증거가 되는 것은 아닙니다.
LLMON 저장소는 도구와 예제를 제공합니다. 글은 모델 호출을 이 형식으로 바꾸는 Mellea의 기본 지원도 설명합니다.
프리뷰는 지시와 데이터의 관계를 명시하고 모델이 따르는지 시험하는 구체적인 실험을 제시합니다. 현재의 한계도 분명합니다. 실험 모델, 학습된 분리, 정적 공격 증거가 범위이며 적응형 공격은 계속 개발해야 할 영역입니다.
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- github.com
- github.com
- github.com
- arxiv.org
- cdn-uploads.huggingface.co
- arxiv.org
- arxiv.org
- cdn-uploads.huggingface.co
- huggingface.co
- huggingface.co
- cdn-uploads.huggingface.co
- github.com
- github.com
- arxiv.org
- arxiv.org
