IBMs Granite-Team hat am 12. November zwei experimentelle LLMON-Vorschauen veröffentlicht. Sie adressieren eine Schwäche von Agenten-Prompts: Anweisungen und nicht vertrauenswürdige Daten erscheinen oft als undifferenzierter Text. Der Veröffentlichungsbeitrag stellt Modelle auf Basis der Granite-4.1-Basiskontrollpunkte mit 3B und 8B vor.
LLMON steht für LLM Object Notation und ergänzt Modellkontext um explizite Strukturen und Beziehungen. Das Team meldet höhere Widerstandsfähigkeit gegen indirekte Prompt-Injektion bei allgemeinen Fähigkeiten nahe den entsprechenden Granite-Instruct-Modellen.
Die Veröffentlichung ist ausdrücklich eine experimentelle Vorschau zur Erkundung und Bewertung, nicht für den Produktiveinsatz. Das Verhalten ist erlernt statt erzwungen; die Sicherheitsresultate betreffen statische Angriffe.
Bedeutungsvolle Blöcke ersetzen implizite Beziehungen
Agentenkontext kann Systemanweisungen, frühere Dialogzüge, abgerufene Dokumente, Werkzeugantworten, Ausgabeanforderungen und Schlussfolgerungen enthalten. Gewöhnlicher Text oder JSON kann diese Elemente kodieren, ohne ihre Beziehungen für ein Sprachmodell zuverlässig zu machen.
LLMON verwendet bedeutungstragende Tags in reservierten Spezialtoken-Begrenzern. Zusammenhängende Komponenten werden getrennte Blöcke mit eindeutigen Kennungen. Ein Ausführungsblock benennt Anweisung, Eingabedaten, geltende Anforderungen und Ausgabeziel.
Damit wird die beabsichtigte Abhängigkeit explizit. Ein Dokument kann das Material einer Anweisung sein, ohne selbst zur Anweisung zu werden. Unverbundene Dialogzüge oder Werkzeugausgaben bleiben im Kontext, ohne an die aktuelle Aufgabe gebunden zu sein.
Das Argument gegen gewöhnliches JSON betrifft die Modellinterpretation, nicht die Korrektheit von Parsern. Anführungszeichen und Klammern können Syntax oder Textinhalt sein. Ein kausales Modell muss die Unterscheidung statistisch lernen und Verschachtelung über Textspannen verfolgen. LLMON trennt Strukturbegrenzer vom normalen Inhaltsvokabular und stellt Verschachtelung lokal dar.
Das Projekt bietet Werkzeuge zur verlustfreien Umwandlung von JSON in LLMON und zurück. Teams müssen JSON als Austauschformat ihrer Anwendungen nicht aufgeben.
Chatvorlagen kennzeichnen weiterhin die Sprecher
LLMON ergänzt Chatvorlagen, statt ihre Rollenstruktur zu ersetzen. Standardrollen identifizieren den Sprecher; LLMON beschreibt Bedeutung und Beziehungen einzelner Komponenten.
Die Vorschau enthält eine eigene Vorlage. Anwendungen können weiterhin eine messages-Liste erstellen und apply_chat_template aufrufen. Benannte Komponenten können ein exec-Flag tragen: Aktivierte Teile werden im Ausführungsblock gebunden, deaktivierte bleiben ohne Verweis vorhanden.
Das Artikelbeispiel trennt die Anweisung, über IBM zu schreiben, den Firmennamen als Daten und zwei Ausgabevorgaben. Der Ausführungsblock verbindet diese Teile mit einem benannten assistant-Ausgabeblock. Ein konventionell zusammengefasster Dialogzug überließe dem Modell mehr dieser Zuordnung.
Die zweistelligen Blockkennungen stammen aus einer tokenizerabhängigen Menge. Laut Team kostet die Adressierung eines Blocks unabhängig von der Kennung zwei Tokens. Strukturierte Daten innerhalb einer Komponente lassen sich ebenfalls in typisierte, adressierbare Blöcke umwandeln, statt als undurchsichtige Zeichenfolge zu verbleiben.
Die Ergebnisse zur Prompt-Injektion haben klare Grenzen
Indirekte Prompt-Injektion versteckt schädliche Anweisungen in Material, das ein Agent lesen soll, etwa Dokumenten oder Werkzeugantworten. Die Trennung soll verhindern, dass dieses Material Anweisungsbefugnis erhält.
Das Team evaluierte auf OPI und definiert Robustheit als eins minus Angriffserfolgsrate. LLMON habe 47% mehr Angriffe abgewehrt als das beste getestete Frontier-Modell und 95% mehr als das beste getestete Open-Source-Modell. Das sind relative Vergleichsaussagen der Autoren, keine Prozentpunktgewinne oder hier reproduzierten Messungen.
Für ASB und StruQ nennt der Artikel ähnliche Trends. Entscheidend ist: Diese Benchmarks untersuchen statische indirekte Injektionen. An adaptiven Angriffen über mehrere Gesprächsrunden arbeitet das Team nach eigenen Angaben noch.
Eine fast verschwindende Erfolgsrate auf einzelnen Benchmarks beweist deshalb keine allgemeine Immunität. Die Veröffentlichung bezeichnet die Privilegienregel ausdrücklich als erlerntes Verhalten, nicht als erzwungene Garantie.
Training vermittelt die Abhängigkeitsstruktur
Die Modelle starten von Granite-Basiskontrollpunkten; das Format wird nicht nachträglich auf veröffentlichte Instruct-Modelle aufgesetzt. Sechs Begrenzer werden als reservierte Einzeltokens eingerichtet, ein herkömmlicher Anweisungskorpus in adressierbare Komponenten und Ausführungsblöcke umserialisiert.
Das Training umfasst Chats, mehrstufige Gespräche, abrufgestützte Generierung und Werkzeugaufrufe. Hinzu kommen ungebundene Köderanweisungen und Daten bei unveränderter Zielausgabe. So soll das Modell den Abhängigkeiten des Ausführungsblocks folgen und nicht jedem anweisungsähnlichen Satz im Kontext.
Die Autoren beschreiben fünf aufeinanderfolgende GRPO-Verstärkungslernstufen zu bereichsübergreifendem Schlussfolgern, menschlichem Feedback, Wissenskalibrierung und Mathematik. Eine abschließende DPO-Präferenzstufe verwendet tausend On-Policy-Paare aus Modellantworten auf Injektionsversuche.
In üblichen Benchmarkkategorien meldet das Team mit Granite 4.1 Instruct vergleichbare Leistungen. Das gilt für die berichteten Evaluationen, nicht als Nachweis unveränderter Qualität in jeder Anwendung und jedem Datenformat.
Eigene Vokabulare bleiben evaluierungspflichtig
Das ScienceWorld-Beispiel verwendet domänenspezifische Tags für Ziele, Planungsregeln, Raumzustand, Inventar und nächste Aktionen. Das Team wandelte Referenzabläufe um, trainierte einen LoRA-Adapter und evaluierte auf zurückgehaltenen Simulatorspielen.
Das zeigt, wie neues Vokabular Planungsstrukturen abbildet. Ein Simulatorergebnis wird dadurch nicht zum Beweis für sichere Autonomie in realen Umgebungen.
Das LLMON-Repository enthält Werkzeuge und Beispiele. Der Artikel nennt auch native Unterstützung in Mellea, das Modellaufrufe in das Format umwandeln kann.
Die Vorschau bietet ein konkretes Experiment: Beziehungen zwischen Anweisungen und Daten explizit machen und testen, ob das Modell ihnen folgt. Die Grenzen bleiben ebenso konkret: experimentelle Modelle, erlernte Trennung und Belege aus statischen Angriffen; adaptive Angriffe sind weiter Gegenstand der Entwicklung.
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- github.com
- github.com
- github.com
- arxiv.org
- cdn-uploads.huggingface.co
- arxiv.org
- arxiv.org
- cdn-uploads.huggingface.co
- huggingface.co
- huggingface.co
- cdn-uploads.huggingface.co
- github.com
- github.com
- arxiv.org
- arxiv.org
