IBM Granite 团队于11月12日发布两个实验性 LLMON 预览模型,针对智能体提示中的一个弱点:指令与不可信数据往往以没有明确区分的文本形式进入模型。发布文章介绍了基于 Granite 4.1 3B 和 8B 基础检查点构建的模型。
LLMON 是 LLM Object Notation 的缩写,为模型上下文加入显式结构和关系。团队报告称,模型对间接提示注入的抵抗能力提高,同时通用能力接近对应的 Granite Instruct 模型。
此次发布明确定位为供探索和评估的实验性预览,而非生产用途。其行为通过训练学得,并非强制执行;报告的安全结果针对静态攻击。
用有语义的区块替代隐含关系
智能体上下文可能包含系统指令、历史对话、检索文档、工具响应、输出要求和推理。传统文本或 JSON 可以编码这些内容,却不一定能让语言模型可靠地理解它们之间的关系。
LLMON 使用由保留特殊词元分隔符包围的语义标签,将完整组件标为独立区块,并赋予唯一标识符。执行区块随后指定指令、输入数据、适用要求以及输出目标。
这样可以把预期依赖关系明确表达出来。文档可以是指令处理的材料,而不是指令本身。无关对话或工具输出可以留在上下文中,而不绑定到当前任务。
团队对普通 JSON 的质疑针对模型解释过程,而非解析器正确性。引号和括号既可能是语法,也可能出现在文本内容中。因果语言模型必须通过统计学习区分两者,并跨越文本片段跟踪嵌套。LLMON 将结构分隔符与普通内容词汇分开,并在局部表达嵌套结构。
项目提供 JSON 与 LLMON 之间的无损双向转换工具,因此不要求团队放弃 JSON 作为应用间数据交换格式。
聊天模板仍然标识发言者
LLMON 丰富聊天模板,而不取代其角色结构。标准聊天角色标识谁在说话;LLMON 标识各组件的含义及其相互关系。
预览模型附带自己的模板。应用仍可构建 messages 列表并调用 apply_chat_template。具名组件可以带有 exec 标记:启用的组件被绑定到执行区块,禁用的组件仍然存在,但不被引用。
文章中的例子将撰写 IBM 内容的指令、作为数据的公司名称和两项输出约束分开。执行区块把它们连接到具名的助手输出区块。传统扁平化对话则需要模型自行推断更多关系。
两个字符的区块标识符来自特定分词器的标识符集合。团队称,无论选择哪个标识符,寻址一个区块都消耗两个词元。组件内的结构化数据也可以转为带类型、可寻址的区块,而不是保留为一个不透明字符串。
提示注入结果有明确边界
间接提示注入将恶意指令放入智能体本应阅读的材料中,例如检索文档或工具响应。LLMON 的分离设计旨在阻止这些材料获得指令权限。
团队在 OPI 上评估预览模型,以“一减攻击成功率”衡量稳健性。作者称,相比受测的最佳前沿模型,LLMON 避免的攻击多47%;相比受测的最佳开源模型,多95%。这些是作者的比较结论,不是百分点增幅,也不是本文复现的测量结果。
文章报告 ASB 和 StruQ 上也有类似趋势。关键在于,这些基准评估的是静态间接注入。团队表示,仍在研究跨多轮对话展开的自适应攻击。
因此,在部分基准上接近零的攻击成功率,不能证明模型普遍免疫提示注入。发布文章明确将权限规则描述为学习得到的行为,而非强制保证。
训练如何教授依赖结构
模型从 Granite 基础检查点出发,而不是将格式添加到已经发布的 Instruct 模型中。训练安装六个保留的单词元分隔符,并将传统指令微调语料重新序列化为可寻址组件与执行区块。
训练涵盖聊天、多轮对话、检索增强生成和工具调用,还加入不与任务绑定的诱饵指令和数据,同时保持目标输出不变。这让模型学习遵循执行区块的依赖关系,而不是遵循上下文中每句看起来像指令的话。
作者描述了五个依次进行的 GRPO 强化学习阶段,覆盖多领域推理、人类反馈、知识校准和数学。最后的 DPO 偏好训练阶段使用一千组在策略样本对,来自模型面对注入尝试时的响应。
在标准基准类别上,团队报告模型表现与 Granite 4.1 Instruct 相当。这个比较只适用于所报告的评估,并不能证明每个应用或数据格式的质量都不变。
可定制词汇,但仍需评估
ScienceWorld 示例展示了用于目标、规划规则、房间状态、物品清单和下一步行动的领域标签。团队转换了参考轨迹,训练 LoRA 适配器,并在留出的模拟器游戏上进行评估。
这说明新词汇如何表示规划结构,但不能将模拟器结果当成真实环境中自主运行安全性的证明。
LLMON 代码库提供工具和示例。文章还指出,Mellea原生支持该格式,能够将自身模型调用转换为 LLMON。
此次预览提供了一个具体实验方向:明确表达指令与数据之间的关系,再测试模型是否遵循这些关系。当前边界同样明确:模型仍属实验性质,分离行为来自学习,证据针对静态攻击,而自适应攻击仍是开发中的开放问题。
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- github.com
- github.com
- github.com
- arxiv.org
- cdn-uploads.huggingface.co
- arxiv.org
- arxiv.org
- cdn-uploads.huggingface.co
- huggingface.co
- huggingface.co
- cdn-uploads.huggingface.co
- github.com
- github.com
- arxiv.org
- arxiv.org
