编程智能体多数时候遵守仓库说明,也仍可能拥有超出任务所需的权限。Mozilla AI关于更好基础设施的论述,指出的正是这一缺口:书面意图与技术上强制执行的权限是两回事。更强模型可能判断得更好,却不会自动创造错误判断时仍然有效的边界。
Mozilla的基础设施论述针对能够检查仓库、修改文件、执行命令和测试、准备拉取请求的智能体。委派把开发者逐项确认的过程压缩成观察、行动、修改的循环。因此问题不只在于模型完成多少工作,还在于周边系统能阻止什么、记录什么,以及如何恢复。
指令有自己的职责,但不是执行边界
三项责任应分开:指令描述期望行为,模型解释指令,基础设施决定行动是否可能。先给广泛访问,再要求模型克制,等于颠倒层级,让执行者承担自身最主要的控制。
AGENTS.md把构建命令、测试要求、约定和安全背景放在代码旁,解决真实协作问题。报道所述时点,其网站称超过60000个开源项目采用。共享、可版本管理的指令能跨智能体产品移植;嵌套文件可描述大型仓库内各服务的要求。
但智能体仍须找到文件、解决重叠规则、应用于任务,并在长时间运行中记住。不完整文件、截断上下文、嵌套冲突或例外泛化,都可能削弱链路。Markdown本身不会限制命令行、网络、云账户、软件包仓库或生产数据库。
“不能从功能分支发布”“修改认证前先批准”“只读这个目录”表达意图,文件系统边界、网络规则和审批服务才执行相应限制。这不贬低指令:许多软件决策需要简单文件系统规则无法表达的上下文,只是两层职责不同。
自主性越有用,普通错误的后果越大
修复集成测试,可能让智能体读取环境文件、启动服务、安装依赖并重新生成快照。含糊任务会扩张范围,无需恶意:破坏性清理可能被当成例行维护,凭据可能被视为可丢弃,议题与依赖文本也可能被错当可信指引。
提示词注入把敌对指令藏进待处理数据,使问题更尖锐。自然语言警告有用,但判断另一段语言是否可信的仍是模型。外部边界能够限制判断失败后的后果。
原文引用的沙箱架构将可信执行框架与模型指挥命令的环境分离。审批、追踪、恢复和状态可以留在执行容器之外,让执行者不必自动继承组织拥有的全部凭据与资源。
更新文档不需发布软件包的密钥,修一个服务不需无关仓库,写测试不需生产数据库权限。这些是运行时允许的行动和可达资源,不只是提示词写法。本地笔记本也不自动安全:它可能存代码、浏览器会话、云凭据、个人文档和签名密钥。即使没有管理员权限,一项过大的凭据也足以产生影响。
因此,控制质量是产品的一部分,而非隐藏实现。平台与安全团队要支持有用委派,却不授无限权力。厂商与个人开发者也面对基准分数无法回答的身份、凭据、审批、日志及恢复问题。
将策略和授权放到模型叙述之外
可信控制平面管理访问、路由、预算、策略和运行状态。模型提出操作,另一层决定执行与否及如何执行。每次运行的独立身份把智能体与人和其他自动任务区分开;对指定文件、命令、服务和网络目标的任务权限,应到期而不是跨运行累积。
原文的沙箱安全指南描述隔离、限制出站、分离凭据及代理访问。可信代理只向获准目标提供凭据,执行环境无需看见可复用密钥便能发请求。生成代码打印环境也不必暴露长期生产密钥,撤销可在代理处进行,不必逐个工作区处理。
工具中介可检查参数、拒绝危险路径、限流并要求审批。Mozilla的mcpd策略插件将认证、校验、限流和日志置于智能体与工具服务器之间。Model Context Protocol可暴露文件、数据库和外部应用,中介能统一执行,而不必信任每个智能体都正确复现策略。
批准还需要有授权的身份,以及模型无法伪造的外部状态。如果许可只是上下文里的另一条消息,不可信材料就可能模仿。“节省token”同样只是建议;循环超时,强制预算仍能作为上限。多子智能体可能比人盯着一段聊天更快花钱,因此按任务、团队、供应商或结果设上限有意义。
不是每一步都需批准。读仓库、在临时分支写入可以常规执行;发布、部署、改权限、联系客户则可能需明确授权。同一命令在隔离测试中可用,在生产中可禁;文档网络目标可放行,未知端点可拦截。频繁打断低风险行动削弱委派,而没有关卡又把重大决策全留给模型。
审计与恢复必须能处理未完成工作
智能体解释不是工具输入、权限、文件修改、重试和拒绝请求的完整记录。审计系统应独立将行动绑定运行、策略版本、工具版本、审批状态、身份、输入和结果。先尝试三次禁止操作再走允许路径,与一开始就走允许路径并不相同。
事故后策略或凭据可能已变,这些记录因此重要,也能揭示反复干预、误报策略及范围扩张,帮助改进权限和流程。仅聊天记录或最终输出,无法重建执行时的授权状态。
状态管理同样重要。流程可能已完成外部动作,却在记成功前失败。盲目重跑整个任务,可能重复创建拉取请求、付款指令或客户消息。基础设施要区分完成步骤、安全重试与需核对状态的操作;外部副作用不能当作可重复的本地读取。
Mozilla的Otari控制平面把治理连接到跨供应商路由、预算、访问控制、部署和故障转移。路由不只优化成本,也能体现隐私边界、延迟要求与能力选择。把决策从零散应用代码中抽出,有助于更换模型或部署环境时保留策略、追踪和工作流状态。
知识提供信息,策略约束,审计记录,恢复处理未完成工作,各有职责。智能体成为组织掌控系统中可替换的组件,而不再是机构规则唯一的存放处。
开放所有权也带来运营责任
可检查的技术栈能减少锁定、支持自定义集成,让敏感组件留在自控环境。医院、银行、公共机构、软件团队需要不同审批和保留规则,单一托管默认值不可能涵盖全部义务。但开放是所有权模式,不是自动安全。
自托管需要更新、访问审查、备份、监控和经过测试的恢复。组件过旧、宽松默认、共享凭据、不完整日志和不受限网络,即使源代码公开仍是漏洞。详细追踪可能暴露专有代码、个人资料、提示词和工具结果,保留记录应足以归责,而非永久复制每份敏感输入。
更多规则不一定更好。重叠例外带来缺口,过严限制把开发者推向未授权工具,不透明中央策略也产生治理问题。小而可测的控制需负责人、理由与验证方法。策略变更需审查、测试、版本管理;紧急覆盖应到期且可见,并解释拒绝与例外流程。
基础设施也不保证有用代码。智能体在权限内仍可能实现错误或漏需求。测试、人工审查仍需存在,包括能揭示只针对公开检查优化的私有或独立评估,以及敏感变更的代码所有者审查。详细事故日志证明发生了什么,不证明防范有效。
Mozilla论点将由临时任务权限、持久的行动与授权证据,以及模型变化时保留它们的可移植性检验。日常摩擦也重要。更好推理仍有价值,可靠委派需要推理失败时不会消失的边界。
相关阅读:技术文档知识库与工程背景留存。
