12 listopada zespół Granite firmy IBM udostępnił dwie eksperymentalne wersje LLMON. Mają rozwiązać słabość promptów agentów: instrukcje i niezaufane dane często trafiają do modelu jako nierozróżniony tekst. Artykuł premierowy opisuje modele oparte na bazowych checkpointach Granite 4.1 3B i 8B.
LLMON, czyli LLM Object Notation, dodaje do kontekstu jawne struktury i relacje. Zespół raportuje większą odporność na pośrednie wstrzykiwanie promptów przy ogólnych zdolnościach zbliżonych do odpowiednich Granite Instruct.
Wydanie określono wyraźnie jako eksperymentalne, do eksploracji i oceny, nie do produkcji. Zachowanie jest wyuczone, a nie wymuszone, a wyniki bezpieczeństwa dotyczą ataków statycznych.
Bloki semantyczne zastępują domyślne relacje
Kontekst agenta może zawierać instrukcje systemowe, wcześniejsze tury, pobrane dokumenty, odpowiedzi narzędzi, wymagania wyjściowe i rozumowanie. Zwykły tekst lub JSON mogą je kodować, nie zapewniając modelowi wiarygodnego rozumienia relacji.
LLMON używa znaczących tagów otoczonych zarezerwowanymi separatorami w postaci specjalnych tokenów. Spójne komponenty oznacza jako osobne bloki z unikalnymi identyfikatorami. Blok wykonania wskazuje instrukcję, dane wejściowe, wymagania i miejsce wyniku.
Zamierzona zależność staje się jawna. Dokument może być materiałem przetwarzanym przez instrukcję, sam nie stając się instrukcją. Niepowiązane tury i wyniki narzędzi mogą pozostać w kontekście bez przypisania do bieżącego zadania.
Argument przeciw zwykłemu JSON dotyczy interpretacji modelu, nie poprawności parserów. Cudzysłowy i nawiasy występują w składni i treści. Model przyczynowy musi statystycznie nauczyć się rozróżnienia i śledzić odległe zagnieżdżenia. LLMON oddziela separatory struktury od zwykłego słownictwa oraz wyraża zagnieżdżenia lokalnie.
Projekt oferuje bezstratne konwersje między JSON i LLMON. Nie wymaga rezygnacji z JSON jako formatu wymiany w aplikacji.
Szablony czatu nadal identyfikują rozmówców
LLMON wzbogaca szablony czatu, zamiast zastępować strukturę ról. Role standardowe wskazują rozmówcę, a LLMON znaczenie komponentów i ich związki.
Wersje testowe mają własny szablon. Aplikacje nadal mogą tworzyć listę messages i wywoływać apply_chat_template. Nazwane komponenty mogą mieć flagę exec: włączone części zostają związane z blokiem wykonania, wyłączone pozostają bez odwołań.
Przykład w artykule rozdziela instrukcję pisania o IBM, nazwę firmy jako dane i dwa ograniczenia wyniku. Blok wykonania łączy te elementy z nazwanym blokiem wyjściowym assistant. Zwykła spłaszczona tura pozostawiłaby modelowi więcej relacji do wywnioskowania.
Dwuznakowe identyfikatory bloków pochodzą ze zbioru właściwego dla tokenizatora. Według zespołu adresowanie bloku kosztuje dwa tokeny niezależnie od identyfikatora. Dane strukturalne wewnątrz komponentu też można zamienić w typowane, adresowalne bloki zamiast nieprzejrzystego ciągu.
Wyniki odporności mają określone granice
Pośrednie wstrzykiwanie promptów umieszcza wrogie instrukcje w materiale do przeczytania, na przykład dokumencie lub odpowiedzi narzędzia. Rozdzielenie w LLMON ma zapobiec uzyskaniu przez te dane mocy instrukcji.
Zespół oceniał modele na OPI, definiując odporność jako jeden minus skuteczność ataków. Twierdzi, że LLMON uniknął o 47% więcej ataków niż najlepszy testowany model frontier i o 95% więcej niż najlepszy testowany model otwarty. Są to względne porównania autorów, nie przyrosty w punktach procentowych ani pomiary odtworzone tutaj.
Artykuł podaje podobne trendy na ASB i StruQ. Co istotne, te testy dotyczą statycznych pośrednich iniekcji. Zespół nadal pracuje nad atakami adaptacyjnymi rozwijającymi się przez wiele tur.
Bliska zeru skuteczność ataków w niektórych testach nie dowodzi więc ogólnej odporności. Publikacja wyraźnie nazywa zasadę uprawnień zachowaniem wyuczonym, nie wymuszoną gwarancją.
Trening uczy struktury zależności
Modele zaczynają od bazowych checkpointów Granite, zamiast dodawać format do opublikowanych modeli Instruct. Sześć separatorów zostaje zarezerwowanymi pojedynczymi tokenami, a tradycyjny korpus instrukcji jest ponownie serializowany do adresowalnych komponentów i bloków wykonania.
Trening obejmuje czat, rozmowy wieloturowe, generowanie wspomagane wyszukiwaniem i wywołania narzędzi. Wprowadza też instrukcje-przynęty i niepowiązane dane przy niezmienionym wyniku docelowym. Uczy śledzenia zależności bloku, zamiast każdej instrukcjopodobnej frazy.
Autorzy opisują pięć kolejnych etapów uczenia ze wzmocnieniem GRPO, obejmujących rozumowanie wielodziedzinowe, informację od ludzi, kalibrację wiedzy i matematykę. Końcowy etap preferencyjny DPO korzysta z tysiąca par on-policy z odpowiedzi modelu na próby iniekcji.
W standardowych kategoriach testów zespół podaje wyniki porównywalne z Granite 4.1 Instruct. Dotyczy to raportowanych ocen, nie dowodzi niezmienionej jakości dla każdej aplikacji i formatu danych.
Własne słownictwo nadal wymaga oceny
Przykład ScienceWorld pokazuje tagi domenowe dla celów, reguł planowania, stanu pomieszczenia, ekwipunku i kolejnych działań. Zespół przekonwertował trajektorie referencyjne, wytrenował adapter LoRA i ocenił go na grach symulatora niewykorzystanych w treningu.
Pokazuje to reprezentację planowania przez nowe słownictwo. Wynik symulatora nie staje się dowodem bezpiecznej autonomii w rzeczywistym środowisku.
Repozytorium LLMON udostępnia narzędzia i przykłady. Artykuł wskazuje też natywną obsługę w Mellea, które może konwertować wywołania modeli na ten format.
Wersja testowa proponuje konkretny eksperyment: jawnie określić relacje instrukcji i danych, a potem sprawdzić ich przestrzeganie. Granice są równie konkretne: modele eksperymentalne, wyuczone rozdzielenie i dowody z ataków statycznych; ataki adaptacyjne pozostają obszarem rozwoju.
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- huggingface.co
- github.com
- github.com
- github.com
- arxiv.org
- cdn-uploads.huggingface.co
- arxiv.org
- arxiv.org
- cdn-uploads.huggingface.co
- huggingface.co
- huggingface.co
- cdn-uploads.huggingface.co
- github.com
- github.com
- arxiv.org
- arxiv.org
