Safeworld结束隐身开发阶段,获得超过1,200万美元种子融资,着手检验一个精彩的机器人演示无法回答的问题:由概率性AI控制的机器,遇到没有专门准备应对的人时会怎样行动?本轮由Shine Capital和a16z Speedrun领投,Box Group、卡内基梅隆大学捐赠基金、Innovation Endeavors及SV Angel参投。公司希望在机器人开发商与决定是否让机器接近员工、顾客和居民的买家之间,提供一层独立的安全评估。

三位创始人分别是卡内基梅隆大学Safe AI Lab主任Ding Zhao、创业公司高管Kyle Wong,以及机器学习工程师Simo Rachidi。他们在安全研究、企业软件、网络安全和创业方面的经验与业务相关,但不等于安全认证。Safeworld没有推出新机器人本体,也没有发布通用控制模型。它押注的是:当机器人的能力超出狭窄的脚本演示,独立且可重复的证据会变得重要。

为什么更新软件也会改变物理风险

传统工业机械臂可以在设有防护的工作单元内沿预设路径运行。视觉—语言—动作模型则把视觉、语言输入与物理运动连接起来,让机器人不必为每个动作单独编程,也能尝试更多任务。但灵活性同时扩大了需要评估的行为范围。陌生人、含糊指令或异常场景,都可能触发一次成功演示没有覆盖的反应。

即使金属本体没有变化,先前评估也可能过时。不同的模型检查点、提示词、感知组件或规划策略,都能改变反应。仓库里的测试结果也不能自动适用于太阳能施工现场、医院走廊或家庭。能够合理支持的结论应限于特定配置、记录明确的条件和指定危险,而不是“机器人普遍安全”。

现有机械安全、功能安全和工业集成标准仍然不可缺少。美国推进自动化协会A3的指南指出,没有一项标准覆盖所有通用机器人;适用要求取决于任务、环境、移动能力、人员接近方式、AI行为和目标市场。把场景证据映射到要求可能有帮助,却不能代替限制力量、速度、活动范围和运动的物理控制。

具备安全等级的底层机制必须与AI推理分开,并施加模型无法绕过的限制。DeepMind同样介绍了机器人分层防护与对抗评估,同时警告,模型检测人的行为并不是有保证的安全等级系统。因此,模型在一次评估中表现安全,不等于具备经过认证的保护功能。

重建一次相遇,再改变关键条件

Safeworld提出的工作流程从观察到的环境或事件开始。团队在Genesis或MuJoCo等模拟器中重建数字环境,放入运行真实控制软件的模拟机器人,再改变相遇过程。人的位置、动作、外观和可见程度,以及物体摆放与时机,都可以作为变量。平台希望生成可能路径、预测交互风险、保留测试证据,并把发现与相关安全实践联系起来。

例如,移动机器人接近工厂的视线盲角时,检测距离、接近速度、停车距离,以及被遮挡的行人何时出现都很重要。抱着箱子、蹲下、奔跑、跌倒或改走另一条路径,会改变相遇过程。反复要求真人在运动机械旁跌倒,既不现实,也可能造成危险;模拟可以探索这些变化,而不必重现物理暴露。

这一思路类似自动驾驶中的加速评估:集中测试后果重大的罕见交互,而不是等待它们自然发生。Zhao在卡内基梅隆大学的官方资料介绍了强化学习、以人为中心的机器人、AI推理和安全物理人机交互研究,也列出交通、计算和工业领域的合作。这一研究背景解释了技术路径,却不能证明商业平台的性能。

Gritt Robotics提供了一个早期实际场景。该公司开发AI,让机器人协助工人在工业级太阳能电站安装光伏板,并正与Safeworld合作开发安全模拟。工人可能站立、跪下、蹲下、奔跑、搬运重物或跌倒,服装和身体特征也不同。这是早期客户合作关系,不是已经公开的减少伤害证据,也不是经过验证的部署结果。

证据必须经得起从模拟走向现实的检验

模拟的价值取决于它对机器人动力学、传感器、控制软件、人员和环境的刻画。如果模拟摄像头比真实传感器看得更清楚,测试就可能低估风险。如果人体模型遗漏重要动作,运行数千次也可能一再漏掉同一个危险。场景数量不能代替对重要故障模式的覆盖。

有用的记录应包含机器人配置、场景参数、模型版本、危险、反应和选用的安全指标。更新后重新运行同一组场景,可以揭示行为变化。事故或险情可能成为长期保留的回归测试,而不是一次性演示,从而让团队追踪不同版本,并据此判断修改是否增加了风险。

五类限制尤其重要:模拟保真度;生成器假设之外的场景;指标即使记录了避免碰撞,也可能忽略掉落物、不稳定动作、被堵住的出口或令人困惑的信号;与制动器、执行器、传感器、网络、电池、附件和工作流程的集成;以及人在反复安全运行后改变行为或抄近路。即使软件不变,风险也可能上升。

噪声、摩擦、载荷变化、磨损、光照和网络延迟,会进一步增加物理系统的复杂性。模拟可以发现故障并比较配置,但不能证明概率性机器人永远不会伤害任何人。形式化证明需要充分明确的系统及边界,而统计模型会遇到设计者无法穷尽列举的输入。因此,测试必须服务于更完整的安全论证,包括物理防护、运行限制、培训、事件报告和现场监测。

独立性是一项需要实际证明的商业主张

机器人制造商已经使用模拟、硬件测试、内部红队和受控试点。Safeworld可能的区别,是由拥有不同激励、专门知识和共享危险经验的评估者进行测试。买家可能了解自己的工作流程,却看不到模型训练数据、架构或完整故障历史。独立评估可以帮助他们批准、限制或推迟部署,而不必只依靠供应商的能力宣传。

不过,由客户付费的评估者并不会自动保持中立。快速发展的机器人公司带来重复业务,尤其当负面发现会延后上市或要求增加防护时,商业压力就会出现。因此,方法、报告边界和如何处理不利结果,与“独立”标签同样重要。报告应区分实际观察与假设、已测与未测条件、已知建模缺口,以及由运营方接受的剩余风险。

如果客户同时提供机器人模型、人体模型和选定场景,测试可能只是把其盲点正式记录下来。Safeworld可以通过自建危险库、记录不确定性,以及比较模拟与真实事件来应对。透明方法、可重复结论和外部技术审查会增强信心;漂亮的仪表板或庞大的场景总数本身不会。

公司尚未展示通用认证方案、公开基准或经过独立验证的性能结果,也没有凭借模拟与现场的相关性确立行业权威。证明模拟风险能够预测试点中的险情或人工干预,会是有价值的证据,但这仍有待展示,并非已经实现的结果。

软件平台、专家服务,还是两者结合?

Safeworld仍在决定,多少工作由客户自行操作软件,多少由公司专家提供。软件更容易扩展,可以支持持续回归测试,但需要客户正确配置和解读。专家服务能够深入分析危险,却扩张较慢、成本较高,也依赖稀缺人才。

客户运行常规测试、专家处理复杂情形的混合模式是合理可能性,不是已经宣布的承诺。Tesla、Wayve及主要机器人实验室已把模拟视为核心开发能力;模型开发商建立对抗评估,安全专家、标准顾问和认证机构也处理部分重叠需求。因此,仅仅使用模拟不能形成可靠优势;发现重大风险、产出部署决策者认可的证据,才可能形成优势。

Zhao认为企业将不得不为安全付费,这是市场预测,而不是已确立的采购规则。一些厂商会自建能力,一些买家会使用现有顾问,还有一些会等待标准和责任预期更清楚再部署先进机器人。原报道预计,随后一至三个月可能让公司的软件与专家服务组合更加明确;这是当时的预期,不是保证的时间表。

怎样让测试真正影响部署决策

Gritt合作提供了具体的下一步检验:记录发现如何改变机器人行为、现场控制或运行限制,以及哪些剩余风险仍未解决。可追踪的前后对照案例,比客户背书更有说服力。如果合作仍处于探索阶段,它能说明实际兴趣,却不能证明产品市场匹配或防护有效。

第二项检验是,安全专业人员能否质疑场景选择、人体模型和不确定性,区分生成的可能情况与经过验证的危险,并识别模拟保真度不足的地方。外部审查、公开基准及有记录的物理测试相关性,可以在不披露全部专有技术的情况下提供帮助。这些是建立可信度的可能路径,不是已经完成的里程碑。

最后,如果运营方用报告批准发布、保险公司将其纳入风险评估,或标准流程认可兼容方法,报告才会获得更大分量。这些目前仍是可能性,不是现行认证或强制要求。模拟之后,是否有人修改系统、限制部署,并跨版本保留发现,才是关键。让证据改变决策,比生成更多场景更加困难。

来源

融资与发布报道 · Safeworld平台 · A3标准指南 · DeepMind机器人防护说明 · Ding Zhao官方研究资料 · 报道链接(另一地址形式)

相关阅读
参考来源

浏览工具目录 →