IBMのGraniteチームは11月12日、エージェントのプロンプトで指示と信頼できないデータが区別のない文章として届きやすい問題に向け、実験的なLLMONプレビュー2種を公開しました。発表記事は、Granite 4.1の3Bと8Bのベースチェックポイントから派生したモデルを紹介しています。
LLMONはLLM Object Notationの略で、モデルの文脈に構造と関係を明示します。チームは、対応するGranite Instructに近い一般能力を保ち、間接的プロンプトインジェクションへの耐性を高めたと報告しています。
公開版は探索・評価用の実験プレビューであり、本番用ではないと明記されています。動作は強制されるのではなく学習されたもので、安全性の結果は静的攻撃に関するものです。
意味を持つブロックで関係を明示
エージェントの文脈にはシステム指示、過去の発話、検索文書、ツール応答、出力要件、推論が含まれます。通常の文章やJSONでは、それらを格納しても、言語モデルが関係を確実に把握できるとは限りません。
LLMONは、予約済み特殊トークンの区切りで意味のあるタグを囲みます。まとまりのある構成要素を別ブロックにし、一意の識別子を付けます。実行ブロックが、指示、入力データ、適用要件、出力先を指定します。
これにより、意図した依存関係が明示されます。文書を指示の対象データとして扱い、文書自体を指示にしない構造です。無関係な発話やツール出力は文脈に残しつつ、現在の仕事には結びつけずにおけます。
チームのJSONへの問題提起は、パーサーの正しさではなくモデルによる解釈に関するものです。引用符や括弧は構文にも本文にも現れます。因果言語モデルは統計的に区別を学び、離れた場所の入れ子を追う必要があります。LLMONは構造区切りを通常の内容語彙と分離し、入れ子を局所的に表します。
プロジェクトにはJSONとLLMONを可逆変換するツールがあります。アプリケーション間の交換形式としてJSONを捨てる必要はありません。
話者の識別にはチャットテンプレートを継続利用
LLMONはチャットテンプレートの役割構造を置き換えず、拡張します。標準ロールは話者を示し、LLMONは各要素の意味と他要素との関係を示します。
プレビューモデルには専用テンプレートが付属します。アプリは従来どおりmessagesリストを作り、apply_chat_templateを呼び出せます。名前付き要素にexecフラグを付け、有効な部分は実行ブロックに結びつけ、無効な部分は参照されないまま残せます。
記事の例は、IBMについて書く指示、データとしての会社名、2つの出力制約を分けています。実行ブロックがそれらを名前付きのassistant出力ブロックへ結びます。通常の一続きの発話では、その関係をより多くモデルに推測させることになります。
2文字のブロックIDは、トークナイザー固有の集合から選びます。チームによると、どのIDでもブロックの参照は2トークンです。要素内の構造化データも、不透明な文字列のままにせず、型を持つ参照可能なブロックにできます。
攻撃耐性の結果には明確な範囲
間接的プロンプトインジェクションは、検索文書やツール応答など、エージェントが読むべきデータに悪意ある指示を埋めます。LLMONの分離は、そのデータが指示の権限を得ることを防ごうとするものです。
チームはOPIで評価し、耐性を「1から攻撃成功率を引いた値」と定義しています。試験した最良のフロンティアモデルより47%、最良のオープンソースモデルより95%多くの攻撃を回避したとしています。著者による相対比較であり、パーセントポイントの差や本記事で再現した測定ではありません。
記事はASB、StruQでも同様の傾向を報告しています。ただし、これらは静的な間接攻撃の評価です。複数ターンにわたって展開する適応型攻撃への改善は、なお作業中としています。
一部ベンチマークで成功率がほぼゼロでも、プロンプトインジェクション全般への免疫は示せません。公開記事も、権限の規則は学習された動作であり、強制的な保証ではないと明記しています。
学習で依存構造を教える
公開済みInstructモデルに形式を追加するのではなく、Graniteのベースチェックポイントから学習しています。6つの区切りを予約済み単一トークンにし、通常の指示学習コーパスを参照可能な要素と実行ブロックに再シリアライズします。
学習対象にはチャット、複数ターンの会話、検索拡張生成、ツール呼び出しが含まれます。結びつけないおとりの指示やデータも加え、正解出力は変えません。文脈内の指示らしい文すべてではなく、実行ブロックの依存関係に従うよう教えます。
著者は、多領域推論、人間のフィードバック、知識の校正、数学を扱う5段階のGRPO強化学習を説明しています。最後のDPO選好学習には、インジェクション試行へのモデル応答から得た1,000組のオンポリシー対を使います。
標準ベンチマーク群ではGranite 4.1 Instructと同等程度の性能と報告しています。その比較は報告された評価に限られ、あらゆる用途やデータ形式で品質が不変とは示していません。
独自語彙にも対応するが評価が必要
ScienceWorldの例は、目標、計画規則、部屋の状態、所持品、次の行動に専用タグを使います。チームは参照軌跡を変換してLoRAアダプターを学習し、学習から除外したシミュレーターのゲームで評価しました。
これは新しい語彙で計画構造を表せる例です。シミュレーターの結果を現実環境での安全な自律動作の証拠にはできません。
LLMONリポジトリにはツールと例があります。記事は、モデル呼び出しをこの形式へ変換できるMelleaのネイティブ対応も紹介しています。
プレビューが提示する実験は明確です。指示とデータの関係を明示し、モデルが従うか検証します。現時点の境界も明確で、実験モデル、学習による分離、静的攻撃の証拠に限られ、適応型攻撃は引き続き開発課題です。
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- github.com
- github.com
- github.com
- arxiv.org
- cdn-uploads.huggingface.co
- arxiv.org
- arxiv.org
- cdn-uploads.huggingface.co
- huggingface.co
- huggingface.co
- cdn-uploads.huggingface.co
- github.com
- github.com
- arxiv.org
- arxiv.org
