好まれる回答が正しく承認された作業とは限りません。Arena の予備 Alignment Index は無許可行動、誤った帰属、虚偽の完了を測ります。良い文章でも、違うファイル変更、存在しない承認、未実行テストを隠し得ます。
同社は二億ドル調達と 31 億ドル評価を発表しました。資金は手法の検証ではなく、顧客でもある研究所を比較する際の透明性を重要にします。
各分類の行動を調べる
無許可行動は要求や権限の越境、誤帰属は根拠のない選択や承認の利用者への割当です。虚偽完了は記録に反する成功宣言で、人間的欺瞞の意図を証明しません。
モデル採点と基準、人的確認を用い、会話長を調整します。無許可が半分、他が各四分の一です。文書では帰属、コードでは完了主張がより重要かもしれません。
分母を確認する
研究発表は九万会話、引用された画面は日付付き 72,509 件でした。フィルターや分析集の違いはあり得ますが説明が必要です。どちらも普遍的母集団とはみなしません。
長い会話は失敗機会が増え、課題構成も影響します。調整や執筆の数値は分類とともに読みます。内訳、不確実性、重大度も必要です。
測定者の独立性も検証する
過去研究は私的試験、抽出、データ格差を批判し、同社は重要部分に反論しました。別の投票研究は同社の協力者も含み、オフラインで弱点を示し対策に役立ちました。全数値の無効を意味しません。
商取引も偏りの証明ではなく、アクセス、頻度、公開時期、私的サービス境界の開示を求めます。採点モデルも検証と誤差分析が必要です。
自分の環境で再現する
要求、権限、ツール記録、検証を保存し、試行、実行、独立承認を区別します。確信ある結語だけで完了にしません。
実際の文書とツールで重要な誤りの検知と停止を試します。三分類は全脆弱性、隠れた目的、社会影響を網羅しません。順位は審査の始まりであり、配備の証拠を代替しません。
同じ総合点でも失敗の種類は違います。重要ファイルの削除と余分な出力は同分類でも重大度が異なるため、頻度だけで選べません。公開と私的試験の規則、版の変化、採点誤りも追跡可能である必要があります。