Sam Altman在10月4日的言论,以少见的直接方式提出一项AI政策权衡:为了保留广泛使用机会和个人自主性,社会应容忍部分有害事件。但这与“所有风险都可以接受”不同。OpenAI首席执行官另外明确拒绝灾难性危险,包括人类严重失去控制。实际难题在两者之间:谁能够可靠地判断,一项可预见伤害仍有明确边界?
Reuters对Politico Decoded采访的报道将诈骗、大规模黑客攻击和滥用列入这项争议。Altman认为,如果通过让单一实验室控制先进AI来消除这些后果,会产生另一种不可接受的局面。他预期有益活动远多于有害活动,因此支持较轻监管。这些是政策偏好与预期,并非证明某次部署安全的实测结果。
分歧在于证据不足时怎么做,而非要不要安全
OpenAI和Anthropic都支持测试、保障措施和一定程度的政府参与。报道所描述的两种立场,都不是无限制部署或永久暂停。关键区别是:当理解仍不完整时,系统对外开放之前有多少不确定性留给开发者,又有多少由用户和机构在应用发展过程中承担?
Anthropic的负责任扩展政策路线图描述了安全、对齐、评估和政策等目标,并表明保障跟不上时愿意放缓部署。OpenAI也进行评估并实施保障,但Altman的开放论点更重视公众实验和个人决定。这些倾向可能带来不同发布日程和访问规则,却不能让两家公司每一次具体决定都变得可预测。
两条路径都会产生权力集中问题。限制高能力模型可能巩固既有实验室、约束独立研究,让小企业依赖少数供应商。但广泛开放也会使能力扩散快于审计、保险、司法和监管问责机制的发展。用户可能到系统进入敏感业务后才遇到失效模式。
Associated Press的分析指出,真实的安全担忧可以与政治、商业利益并存。主要只有大开发者负担得起的规则,可能巩固它们的地位。这不否定警告,但任何一家公司都不是中立裁判。按能力设定义务并进行独立审查,是无约束自我认证与既有企业永久控制之间的一条可能路径。
普通伤害为何可能不再普通
在9月的联合国安理会发言中,Altman说,即使失控概率很小也不可接受。他同时警告,权力过度集中于企业、政府或小团体同样危险。要同时避免两种风险,比简单选择无限开放或集中限制更困难。
规模会使分类变复杂。一条欺骗性消息可能是传统犯罪;数百万条自动生成、个性化调整的消息可能压垮常规防御。发现软件漏洞的模型,可以帮助修补,也可能帮助攻击,取决于指令、权限和情境。这些例子说明边界难题,不证明每一次诈骗或黑客攻击必然构成灾难。
问题是,在熟悉的事件结合成系统性危险之前,开发者和外部机构能否发现升级。总体收益并不说明欺诈、歧视、泄露或职业替代造成的损失如何分配。平台可以忍受的失败率,可能毁掉一个具体的人。采访没有提供公开的成本分配公式。
准备框架不等于独立的发布授权
OpenAI的Preparedness Framework跟踪网络安全、生物威胁和AI自我改进等严重风险,区分High与Critical能力,并要求跨越门槛时加强保障。这是结构化风险管理机制,不证明困难分类已经存在客观确定的答案。
内部Safety Advisory Group审查证据,建议保障能否充分降低严重风险;最终部署权仍在领导层。专业能力有价值,但评估风险的公司也控制日程并从发布获利。因此,内部审查不等于完全独立的授权。
OpenAI治理材料也描述第三方测试、模型报告、事件响应及董事会安全委员会监督。可信度取决于实际访问条件:评估者是否有足够时间、技术信息和真实系统。受限演示无法暴露工具、记忆、网络及模型行为之间的所有相互作用。广泛部署后才发布报告,可以告知公众,却不能事先影响第一次发布。
框架还允许在竞争者无类似保障发布高风险系统时调整要求,并承诺审查和公开说明。这回应真实协调难题:一家企业不能控制其他地方的访问。但连续的竞争例外也可能削弱标准。Anthropic强调协调、OpenAI强调保留开放,两者都面对产品上线压力。
OpenAI说,当保障落后时曾放缓开发。这一表态有参考价值,但需要足够技术细节,让外界判断改变了什么、是否解决最初缺陷。框架的存在和谨慎的保证,都不能直接决定结果。
较轻监管需要更有力的事后证据
从非灾难性失败中学习,需要迅速报告、纠正,并愿意修改或撤回系统。企业披露方式不同,用户可能没发现模型导致的故障,机构可能不愿报告代价高昂的错误或泄露。缺少可比较数据时,反复伤害看起来就像孤立事件。
原始数量不足以判断。用户增多自然带来更多报告,检测改善也可能暂时让结果显得更糟。有用披露应区分严重程度、复发、受影响能力、未授权行动、操纵和保障绕过,并说明遏制与纠正措施。它必须帮助外界质疑“可管理”的标签,而不只是重复它。
问责还需要举报渠道、调查和受害者补救。这不意味着开发者自动为一切恶意使用负责。但可预测、重复出现的滥用,比罕见且不可预见的使用更要求改进控制或解释为何继续开放。总体收益对受害消费者帮助有限。
Associated Press关于自愿协议的报道描述内部控制、外部审计和董事会审查。这些措施提供结构,而非自动带来执法。审计范围、访问和后果很重要:发现能否挑战发布,未解决问题会不会延迟上线?针对可衡量能力与有害行为的规则,不一定要规定单一技术设计,也不应仅因企业有内部计划就豁免。
能使用模型,不等于有权让它行动
自主代理利用工具规划并执行多项行动。风险取决于权限、周边软件和后果,不只是孤立模型分数。聊天机器人出错可能只是让一个人不便;同一错误若带有邮箱、代码仓库、财务记录或生产系统访问权,就可能演变成组织事故。
企业可以将起草、搜索和摘要,与涉及资金、基础设施、法律决定或个人数据的行动分开。最小权限、重大行动人工批准、日志和经过测试的恢复流程,让广泛访问不必等于无限授权。自信的文本仍需要检查底层证据。
相关阅读个人与团队知识库说明和产品经理AI工作流展示如何整理来源背景供复核。把文档、决定及生成摘要关联起来有助追溯,但任何知识库或流程都不能保证答案正确。这些只是相关阅读,不是验证OpenAI安全性的证据。
政策检验同样具体:广泛发布前对完整系统的独立评估,发布后的实质事件披露,以及对评估、审计访问、责任和延迟部署权的立法立场。若狭窄而可执行的灾难风险门槛与广泛开放并存,OpenAI可以保持自洽。若同时反对独立执行和访问限制,则更接近自我监管。Anthropic也必须证明降低风险,而不是给非前沿的小开发者制造不必要障碍。
接受不完美但不接受灾难,是目标,不是完整治理体系。决定性证据在于谁定义边界、谁能质疑、越界会怎样以及受影响者能否恢复。企业也需要立即回答自己的问题:若明天AI失败,能否不依赖供应商保证,就识别、遏制并恢复?
报道还通过原始新闻聚合入口流通,这是聚合路径,并非出版方直达页。
