前沿 AI 模型接受过政府测试,听起来令人放心。但其价值取决于评估者能看什么、有多少时间,以及发现是否影响发布决策。有关英国恢复访问未发布美国模型的报道,使这些问题比简单的“测过或没测过”标签更有意义。

来源报道提到,10 月 11 日有消息称,华盛顿撤回了劝阻美国开发商向英国评估者提供未发布系统的要求。随后,英国一位部长表示,英国 AI 安全研究所能够访问先进模型,并正与美国官员及开发商合作。这支持合作恢复的判断,却不代表该机构依法拥有访问所有未来模型的权利,也没有公布每次评测窗口。

询问何时开始访问

发布前评测能在开发商仍可修改防护时提供意见。如果临近发布才开放,就可能缺少调查异常行为或复测修复方案的时间。发布后测试仍有价值,但主要用于补救和后续决策。

采购方应询问模型版本、评测日期及其与正式发布的关系。即便细节保密,提供商也可解释,外部发现是否改变了防护、监控或部署限制。有研究所参与,并不能证明某次发布确实调整过。政策逆转报道说明许可恢复,实际效果还需运行证据。

明确评估者可以检查什么

托管模型访问、连接工具的权限、内部防护信息和模型权重,是不同层级的访问。受控接口测试可以发现重要行为,但不能揭示所有训练和部署细节。提供给研究者的配置,也可能不同于客户实际购买的配置。

英国的开发商合作说明和 Anthropic 的防护合作记录介绍的是既有合作关系,并非无限检查权。测试可涉及网络滥用、生物风险、欺骗或自主行为;每项测试只测量特定条件下的具体能力,不能浓缩成通用安全分。

理解志愿合作基础

2024 年美英备忘录建立研究与评估合作,但不具有约束力,也不要求实验室提交每个模型或推迟发布。这种灵活性促成合作,同时让访问受到政治指令和企业决定影响。

美国 AI 行动计划也支持聚焦安全的评估。美国审查和盟友审查可以并存,但先后顺序、敏感例外及机构间分享结果的方式仍有问题待解。恢复许可不等于所有条款已经明确。

将保证落实到部署系统

采购时应保留测试模型、开放接口、主要限制和后续调整记录,再与实际部署的版本、系统指令、工具权限和监控比较。政府评估无法证明另一种客户配置拥有相同风险。

外部测试应与内部评估、最小访问、事件报告和持续监控一起使用。还应询问提供商如何通知新风险,模型变化后谁负责响应。英国的进展报告介绍了相当的评测能力,但只有及时获得有深度的访问,这些能力才有作用。下一项值得看的证据,是有记录的评测窗口及其对部署决策的明确影响。

相关阅读
参考来源

浏览工具目录 →