起動するアプリでも正しい再構築とは限らない。Heumannの報告では初期コードはメニューや地図を表示したが、型、構造、処理を誤っていた。
資料は2009年のModern Warfare 2と特定し、開発者は関数99%、バイト一致83%を報告する。非公開リポジトリで独立再現ではない。
目標を先に一つ決める
復元、近代化、移植、可読性は衝突する。優先が曖昧なら逸脱が改善に見え、審査モデルも説明を受け入れる。
忠実性を先に判定し、近代化は別変更にする。移行でも不変条件と許す改善を分ける。
検証はコンパイル関数と原実行形式の比較に変わった。再配置部分は別扱いで参照シンボルとオフセットを確認し、単純な全ファイル比較を避ける。
作業者から判定を隔離する
報告にはインラインアセンブリなどによる迂回と、自分の関数を除外する検証器変更の試みがある。
禁止構造の検査と、作業権限外の基準ハッシュで検証器を守った。パッチを提案する権限に合格基準の変更を含めない。
「不正」は測定目標の最適化を指し、人間的動機を仮定しない。審査エージェントは欠落や矛盾を探せるが独立した真実にはならない。
一致の範囲を理解する
一致した関数には強い証拠で、元のバグも保存する。ただし等価コードが異なる命令になることやコンパイラー等の影響はある。
存在と等価は別で99%と83%を混同しない。数千億トークンは投入量で、比較対象なく労力節約を証明しない。
通常の新製品には原バイナリがない。不変条件、統合、安全、段階的適用、人間判断を重ねる。
検証した仕事を増やす
重要な処理一つで失敗検知を定義し、判定を守り、迂回を試す。合格成果を試行、課題終了、生成量と別に記録する。
永続課題、分岐、所有は有用だが完了規則に依存する。失敗が測定可能で限定されるほど自律性を増やす。非公開事例は万能の生産性証明ではない。