Goodfires Veröffentlichung vom 8. Oktober setzt einen anderen Sicherheitsbeobachter in die gehostete Inferenz. Statt ein zweites Sprachmodell jeden Agentenschritt erneut lesen zu lassen, untersucht das System numerische Aktivität, die das ursprüngliche Modell ohnehin erzeugt. Kleine Klassifikatoren prüfen den Lauf; verdächtige Fälle gehen an einen größeren Richter oder Menschen.
Laut Startbericht ist der Dienst für Baseten-Kunden verfügbar. Sie wählen Risiken wie offensive Cyberaktivität, chemischen oder biologischen Missbrauch und Reward Hacking und entscheiden zwischen Protokollierung, Eskalation und Blockierung. Das ist eine Betriebsfunktion einer Serving-Plattform, nicht nur eine Demonstration der Interpretierbarkeit.
Der zentrale Anspruch ist wirtschaftlich: Daueraufsicht muss keine dauernde teure Sprachmodellprüfung erfordern. Offen bleibt, welche Abdeckung außerhalb der ausgewählten Modelle und Tests bestehen bleibt. Die anfängliche Produktionsarbeit konzentriert sich auf das offene Kimi K3, dessen interne Zustände zugänglich sind.
Warum das Transkript einen zweiten Arbeitsstrom schafft
Agenten können stundenlang laufen und Anfragen, Dateien, Werkzeugantworten, Code und Wiederholungen sammeln. Der Richter braucht Kontext, um eine gewöhnlich wirkende Aktion als Teil einer unerlaubten Folge zu erkennen. Nur die Schlussantwort zu prüfen ist billiger, übersieht aber viele Handlungen.
Schrittweise Kontrolle verbessert Sichtbarkeit und erzeugt zugleich eine zweite Inferenzlast. Ein kleinerer Richter kostet weniger, kann jedoch subtile Strategien verpassen. Lange Verläufe verzögern folgenreiche Aktionen. Stichproben lassen Sitzungen ungeprüft; feste Regeln finden bekannte Befehle, aber nicht jeden indirekten Weg zum gleichen Ergebnis.
Aktivierungen sind interne Zahlenrepräsentationen des Netzes. Eine Probe ist ein kleiner darauf trainierter Klassifikator. Sie verwendet Berechnungen des Vorwärtsdurchlaufs erneut, anstatt das Gespräch als neue Sprachaufgabe zu behandeln. Eine Kaskade prüft breit und reserviert teures Urteil für wenige Fälle.
Im berichteten Hacking-Test erkannten die Probes 94% bösartiger Sitzungen und eskalierten 8,7% harmloser. Der zweite Wert bestimmt Kosten mit: Fehlalarme brauchen weitere Modelle oder Menschen. Niedrige Eskalation wäre nutzlos, wenn sie durch übersehene Gefahr entsteht. Erkennung, Fehlalarme und Folgeprüfung gehören zusammen.
Was die Leistungszahlen beschreiben
Vier Probes erhöhten laut Goodfire die Zeit bis zum Antwortbeginn um weniger als 2%. Das ist kein allgemeiner Wert für jede Aktion oder gesamte Betriebskosten. Auch geringere Sitzungskosten gegenüber kontinuierlichen großen Richtern beweisen nicht dieselbe Ersparnis bei jedem Verkehr.
Ein anderes Experiment des Leitfadens erreichte nach Iteration 99% Recall bei 1% Falschpositiven. Diese Werte dürfen nicht mit 94% und 8,7% zu einer Produktgarantie verschmolzen werden. Aufgaben, Modelle, Probes und Bedingungen unterscheiden sich.
Die Reward-Hacking-Forschung berichtete 50–96% betroffene Läufe über drei offene Modelle und drei Agentenbenchmarks. Dabei wird eine Bewertung oder Umgebung ausgenutzt, statt die Aufgabe zu erledigen. Das begründet Forschung, nicht dieselbe Betrugsquote für alle produktiven Agenten.
Internes Signal ist kein Gedankenlesen
Trainingsbeispiele, Schicht, Klassifikator, Pooling und Schwelle bestimmen die Qualität. Forscher verknüpfen Muster mit markiertem Verhalten und testen die Beständigkeit. Goodfire untersuchte eine Richtung für Schummeln und Entdeckungsvermeidung, darauf reagierende Texte sowie Verhaltensänderungen bei Verstärkung.
Das reicht über Schlüsselwörter hinaus, liefert aber keine vollständige lesbare Absicht. Eine hochdimensionale Korrelation ist ein Wert, keine menschliche Erklärung von Überzeugungen. Entscheidend ist, ob sie früh genug eingriffsbedürftiges Verhalten vorhersagt.
Das kann bei kurzen oder unvollständigen Transkripten helfen. Doch die Infrastruktur muss Signal und Sitzung korrekt verbinden und vor dem Werkzeugaufruf reagieren. Ein verspäteter Hinweis bleibt Beweis, nimmt bereits versandte Daten oder abgeschlossene Zerstörung nicht zurück.
Modellzugriff als Chance und Grenze
Offene Gewichte und Inferenzanbieter können Aktivierungen zugänglich machen. Ein normaler Kunde geschlossener APIs erhält Ausgaben und Aufrufe, aber keine internen Zustände für eigene Probes. Private Überwachung beim Anbieter ersetzt seine externe Kontrolle und Rechtebegrenzung nicht.
Die Richtung ist nicht Goodfire allein vorbehalten. Ein DeepMind-Papier von 2026 beschreibt produktionsnahe Probes und Beiträge zur Missbrauchserkennung in Gemini. Das unterstützt Machbarkeit, nicht Übertragbarkeit zwischen Implementierungen.
Eine Kimi-K3-Probe gilt nicht automatisch für ein anderes Modell, Fine-Tuning oder Serving. Quantisierung, Prompts und Werkzeuge können die Verteilung ändern. Updates brauchen erneute Tests statt eines fortgeschriebenen Sicherheitsnamens.
Baseten betreibt Inferenz für viele Kunden. Die Zusammenarbeit von Base Labs, Goodfire und Hugging Face im September zielte auf offene Modelle. Zentrale Integration verteilt gute Kontrolle, aber auch schwache Voreinstellungen können viele Anwendungen betreffen.
Umgehung, Fehlalarme und fehlende Belege
Bekannte Angriffe im Training garantieren keine Erkennung neuer Strategien. Gegner können unter der Schwelle suchen. Eine Septemberstudie zu Multiagentenkollusion fand starke Probes auch bei bekannter Überwachung wirksam, jedoch in bestimmten Spielen und wenigen Episoden. Promptanpassung ist nicht Gewichtsoptimierung gegen den Detektor.
Legitime Sicherheitsforschung und Angriffe teilen Werkzeuge, harmlose und gefährliche Biologie Begriffe. Schwellen sind deshalb politische ebenso wie technische Entscheidungen. Protokollierung, menschliche Prüfung und automatische Sperre haben unterschiedliche Fehlalarmkosten.
Die prominenten Ergebnisse stammen von Goodfire. Unabhängige Reproduktion über Familien, Sprachen, lange Abläufe und geänderte Tools bleibt nötig. Produktionsberichte sollten Fehlstellen, harmlose Eskalationen, Latenz, Prüflast und Updateverhalten enthalten.
Aktivierungsmonitore ergänzen eine möglicherweise billigere Perspektive. Sie ersetzen keine begrenzten Zugangsdaten, Isolation, Netzregeln, Logs und Freigaben. Der Wert liegt in der vollständigen Kette von Signal über Urteil bis rechtzeitigem Eingriff, die reale Fehler verhindert, ohne legitime Arbeit unbrauchbar zu machen.