Le lancement Goodfire du 8 octobre place un autre observateur dans l’inférence hébergée. Au lieu de faire relire chaque action par un second modèle, il examine l’activité numérique déjà produite. De petits classificateurs filtrent les sessions et un juge plus puissant ou une personne étudie les cas suspects.
Selon la couverture, les clients Baseten choisissent activité cyber offensive, abus chimique ou biologique et détournement de récompense, puis journalisation, escalade ou blocage. C’est une fonction d’exploitation plutôt qu’une simple démonstration d’interprétabilité.
La promesse est économique : surveiller en continu ne demande pas forcément un jugement linguistique coûteux en permanence. La couverture hors des modèles et tests choisis reste à établir. La première production concerne Kimi K3 ouvert, dont les états internes sont accessibles.
La transcription devient un second travail
Un agent peut accumuler pendant des heures consignes, lectures, réponses d’outils, code et reprises. Le juge a besoin de contexte pour reconnaître une action banale dans une séquence interdite. Vérifier seulement la fin coûte moins mais manque les actions.
Une revue à chaque étape ajoute une inférence parallèle. Un petit juge économise mais risque les subtilités ; un grand coûte et ralentit. Le contexte long retarde les opérations. L’échantillonnage laisse des sessions, les règles fixes ne voient pas tous les détours.
Les activations sont des représentations numériques internes. Une sonde est un petit classificateur entraîné dessus, réutilisant le calcul sans transformer l’historique en nouvelle tâche linguistique. La cascade examine largement et réserve l’évaluation chère à une minorité.
Le test de piratage annoncé détectait 94% des sessions malveillantes et envoyait 8,7% des bénignes en revue. Le second chiffre détermine aussi le coût. Les faux signaux prennent du temps ; peu d’escalades par manque de détection n’est pas un succès. Il faut lire ensemble rappel, erreurs et charge.
Ce que les chiffres signifient
Quatre sondes ajoutaient moins de 2% au temps avant réponse, selon Goodfire. Ce n’est pas une mesure universelle de chaque action ou de la facture totale. L’économie face à de grands juges constants n’est pas identique pour tous les flux.
Un autre essai du guide atteint 99% de rappel pour 1% de faux positifs après itérations. Il ne faut pas fusionner ces valeurs avec 94% et 8,7% en garantie globale. Tâches, modèles, sondes et conditions diffèrent.
La recherche sur le détournement de récompense annonce 50–96% des exécutions sur trois modèles ouverts et trois benchmarks. Il s’agit d’obtenir une note par une faille de l’évaluateur sans accomplir le travail. Cela justifie la recherche, pas une proportion universelle de fraude en production.
Signal interne n’est pas lecture de pensée
Exemples, couche, classificateur, agrégation et seuil déterminent les résultats. Les chercheurs associent états et comportements étiquetés et vérifient la persistance. Goodfire étudie une direction liée à la triche et à l’évitement, les textes qui l’activent et les changements après amplification.
Cela dépasse les mots-clés sans donner une intention complète et lisible. Une corrélation de grande dimension produit un score, pas un récit humain des croyances. La question est de prévoir assez tôt pour intervenir.
Un signal peut aider quand la transcription est brève, mais l’infrastructure doit le relier à la bonne session et agir avant l’outil. Une alerte tardive devient preuve, sans rappeler des données envoyées ni annuler une destruction.
L’accès ouvre et limite
Poids ouverts et hébergeurs peuvent exposer ces états. Un client API fermée reçoit résultats et appels, pas les états nécessaires à ses sondes. Le contrôle privé du fournisseur ne remplace pas ses restrictions et sa surveillance externe.
Un article DeepMind de 2026 décrit des sondes opérationnelles et une contribution à la détection d’abus Gemini. Il soutient la faisabilité, pas le transfert d’un réglage à l’autre.
Une sonde Kimi K3 n’est pas automatiquement valable ailleurs, après adaptation ou changement de service. Quantification, consignes et outils changent la distribution. Les mises à jour exigent de nouveaux tests.
Baseten sert de nombreux clients. Le partenariat de septembre Base Labs, Goodfire et Hugging Face vise les modèles ouverts. L’intégration distribue une bonne protection mais aussi un mauvais réglage par défaut.
Évasion, faux signaux et preuves manquantes
Les attaques connues ne couvrent pas les stratégies futures. Un adversaire cherche sous le seuil. Une étude de collusion de septembre trouve les meilleures sondes efficaces malgré la connaissance du contrôle, mais dans des jeux et épisodes limités. L’adaptation par consigne n’est pas un entraînement des poids contre le détecteur.
Recherche légitime et attaque partagent outils, biologie sûre et dangereuse le vocabulaire. Le seuil est politique autant que technique. Journal, revue humaine et blocage ont des coûts d’erreur différents.
Les principales performances viennent de Goodfire. Répliquer indépendamment sur familles, langues, longues tâches et outils changeants reste nécessaire. Les données de production devraient inclure omissions, escalades bénignes, latence, charge et comportement après mise à jour.
La vue interne peut coûter moins, sans remplacer identifiants restreints, isolation, réseau, journaux et approbations. La valeur dépend de toute la chaîne signal, jugement et intervention opportune, qui empêche les incidents sans rendre le travail légitime impraticable.