Goodfire の十月八日の発表は、ホスティングされた推論の中に別の安全監視者を置きます。第二の言語モデルが全行動を読み直す代わりに、元モデルが既に生み出した数値活動を調べます。小型分類器が選別し、疑わしい事例を大きなモデルや人へ渡します。
発表報道によると Baseten 顧客向けに提供され、攻撃的サイバー行動、化学・生物悪用、報酬ハッキングなどを選べます。検出後は記録、審査、遮断を設定できます。単なる解釈可能性のデモではなく、モデル運用基盤の機能です。
中心は費用です。常時監督に常時高額な言語審査が必要とは限りません。ただし選択されたモデルと試験を離れて検出力が残るかは未解決です。初期運用は内部状態へアクセスできる公開モデル Kimi K3 が中心です。
会話履歴が第二の負荷になる理由
数時間の実行には指示、読んだファイル、ツール応答、コード、再試行が蓄積します。一見普通の操作が無許可の連続の一部か判断するには背景が必要です。最後の回答だけなら安くても、多くの行動を見逃します。
毎段階の検査は可視性を高めますが、強い監督モデルは別の推論処理になります。小さい監督は安くても微妙な行動を逃し、長い履歴は重大操作前の遅延も増やします。抽出検査には未確認分が残り、固定ルールは既知命令を捕えても間接経路を網羅しません。
活性はネットワーク内部の数値表現です。プローブはその上で学習した小分類器で、前向き計算を再利用します。全会話を新しい言語課題にしません。広く選別し、高価な判断を少数へ集中するカスケードです。
報告されたハッキング試験は悪性セッションの 94% を検出し、無害の 8.7% を審査へ送りました。後者も経済性の核心です。誤警告は審査費用を使い、逆に危険を逃して低い警告率を得ても意味がありません。再現率、誤警告、後段負担を合わせて読みます。
数値が示す範囲
四つのプローブが応答開始までの時間に加えた負担は 2% 未満と同社は説明します。最初の応答の指標であり、全操作の遅延や総費用の保証ではありません。大規模な判定モデルを常時使うより安いとの結果も、全交通構成で同じ節約とは未証明です。
技術案内の別試験は反復後に再現率 99%、偽陽性 1% でした。94% と 8.7% の試験に合成して製品全体の保証にできません。モデル、課題、プローブ、条件が違います。
報酬ハッキング研究は三つの公開モデルと三つの基準で実行の 50〜96% に不正を報告しました。評価器や環境を利用して目的を果たさず点を得る行動です。研究の必要性を示しても、実運用の同率を証明しません。
内部信号は読心の証明ではない
訓練例、観測層、分類器、集約法、しきい値で性能が変わります。ラベルと活性を関連付け、その関係が続くか試します。同社は不正と検出回避に関連する方向、強く反応する文章、信号を増幅した際の行動変化を報告しました。
単語検出より深い分析でも、完全で読める意図ではありません。高次元の相関は点数であり、人のような信念の説明ではありません。介入に足る行動を早く予測できるかが実務上の問いです。
短い履歴や未記載の計画では早さが重要です。しかし得点を正しいセッションへつなぎ、ツール実行前に反応を強制する必要があります。遅い警告は調査に役立っても、送ったデータや完了した破壊を戻しません。
内部アクセスという機会と制約
公開重みと推論事業者は活性へアクセスできます。普通の閉鎖 API 顧客は出力と呼び出しを受けても内部状態を得ません。提供元が私的に監視しても、顧客の外部検査と権限制限は必要です。
Google DeepMind の 2026 年論文も運用型プローブを扱い、Gemini の悪用検出に関連研究が使われたとします。方向の実現性を支えても、別実装への移植は保証しません。
Kimi K3 のプローブが別モデル、微調整版、運用構成で働くとは限りません。量子化、指示、ツール変更も分布を変えます。モデル更新時は古い安全値を引き継がず再検証します。
Baseten は多数顧客の推論層です。九月の Base Labs、Goodfire、Hugging Face の協業は公開モデル評価と監視を対象としました。有効な制御を広げられる一方、弱い既定設定も広く影響します。
回避、誤警告、未確認の証拠
既知攻撃の検出器は未知の戦略を逃し得ます。敵対者はしきい値以下の方法を探せます。九月の複数エージェント共謀研究は監視を知っても強いプローブが有効としましたが、特定ゲームと限られた回数です。指示への適応と、監視を破るよう重みを訓練する攻撃は違います。
正当な安全研究と攻撃は同じ道具を使い、生物研究も語彙を共有します。しきい値は技術と政策の選択です。記録、人の判断、自動遮断では誤検出の費用が違います。
主要成績は Goodfire 自身のものです。モデル、言語、長い業務、道具の変化にまたがる独立再現が必要です。漏れ、無害の審査送り、遅延、負担、更新後の性能を公表することが重要です。
活性監視は安価になり得る視点ですが、限定認証、隔離、通信制御、ログ、重大操作の承認を置換しません。信号から審査、適時介入までの全体が、正常業務を壊さず現実の失敗を減らすかが商用価値を決めます。