Orca Security称,将巨型提示词换成九阶段Amazon Bedrock流水线后,Discovery AI输入令牌减少93%、查询成本下降90%、延迟减少75%。关键不是换了一个更强模型,而是大多数问题不再携带用不上的安全模式定义。

Discovery AI把自然语言问题变成Sonar过滤器。Sonar覆盖900多个基础设施与应用模型,涉及资源、身份、漏洞及关系。此前分析师必须编写精确JSON、记住模型名,并选择18种过滤操作符。新界面降低语言门槛,不取消正确且授权调查的要求。

案例称自2026年3月起处理每日数千查询。这是AWS与Orca对自身系统的共同介绍,不是与其他安全厂商的独立性能比较。

原型成功后暴露生产问题

最初把900多种定义、关系和示例全部塞进大模型。公司称设计伙伴与内部用户喜欢结果,但相当工作负载消耗约200万输入令牌、耗时60秒,多模型、嵌套或多条件问题仍需修正。

新流程先附加组织上下文,包括云提供商与请求元数据。确定性匹配器识别IP、CVE、哈希、名称、URL和告警ID。已知模式直接返回预定义过滤器,避免让模型推理明确映射。

其他请求经过防注入、离题及不支持输入的筛查。流程把精确快路与需要解释的问题分开,也能定位失败环节,而非把责任藏在一个提示词里。

阶段增加却减少生成工作,是收益的核心:每一步缩小剩余不确定性。

检索与选择缩小需要推理的材料

Amazon Titan嵌入从有效示例库召回20项,Cohere Rerank 3.5再选5项。Orca发现单纯top-K常给近重复例子,最大边际相关性增加多样性又可能挤掉最相关项,因此采用召回加重排。

精确或高置信匹配可直接复用已有过滤器,否则例子指导生成。阈值很重要:表面相似的问题可能需要不同条件。

模型选择步骤读取各Sonar模型的简要用途、字段与关系,只把所选完整模式和必要连接交给生成。Claude Haiku 4.5负责选择与生成,Nova 2 Lite承担强调速度与低成本的防护、验证任务。

生成过滤器先静态检查模型、字段和操作符,再通过Sonar API检查。结构化错误指出具体问题供修正,重试有上限;图中末步做响应后处理,并构造Discovery URL,而非把原始文字当产品。

相当工作负载从约200万变为14万输入令牌,即减少93%;成本下降90%,约60秒变15秒,即降低75%延迟。比较基准是其自身旧原型,不是所有系统可获得相同比例的承诺。

过滤器有效,不等于调查正确

模式检查能拒绝虚构字段和非法操作符,不能证明每个意图都保留。有效查询仍可能漏例外、时间范围或关系。

“显示暴露数据库”就有歧义:暴露涉及网络路径、资源类型和可接受风险。界面应展示假设或过滤器;案例对生成与验证讲得较多,对分析师完整审核体验较少。

安全数据包含资产名、漏洞、配置和账户关系。提示攻击分类器不是授权服务。系统要限制进入模型的数据,并按请求者适当权限运行查询,而非借助手最宽后台权限。

链接的AWS指导建议身份传递及模型外数据访问控制,防止低权限用户借高权限中介获取资料,即“混淆代理”。Orca公开材料介绍组织上下文,未详述每项租户隔离和用户权限机制。

缺少细节不证明存在漏洞,只限制性能案例能支持的结论。模式有效、意图一致和访问获准是三个测试,效率百分比不能替代任何一个。

改进依赖专家与受治理的示例

Orca按参考查询评估正确性、完整性和语义等价,并按问题和模型类别切片。模型裁判辅助迭代,产品、支持、安全研究人员及客户也反馈错误。

低置信生产问题进入每日标注队列。专家修正不需部署代码,即可供后续检索。AI负责人Or Gabay把标注界面称为最重要的长期质量投资,强调的是人的反馈过程。

该环路帮助适应陌生问题和云威胁变化。MITRE云矩阵可组织调查,但静态例库仍会随资源和攻击路径演进而过时。

修正需要统一规则。示例库要有版本、删除、质量审查及敏感信息防护。Bedrock便于替换某阶段模型,但仍须跨选择、检索、生成、验证做回归。

效率数字明确,公开准确率证据不足

案例给出令牌、成本与时间对比,却未公开数据集、样本量、通过率或具体准确率提升。它称复杂查询改善,尚不足以独立复现。

裁判规则与参考答案也影响结论。人工一致性、重试耗尽率、精确匹配与直接复用比例都未披露。

15秒没有区分中位与长尾。“相当工作负载”还取决于请求组合、缓存、输出量、模型及重试。每日数千请求不等于独立用户、接受率、放弃、手改或实际省时。

教训并非“九阶段必胜一个模型”,而是选择上下文、按任务分配模型、复用已验证模式,把可强制规则交给确定性系统。相关Security Lake工作也做自然语言结构化查询,Orca特别之处是先压缩庞大领域模式。

这种类编译器分工让成本和失败可定位,但增加依赖与评估工作。能否持续有效,要看模式、用户和模型变化后的接受质量。

Discovery AI是相对自身原型的显著自报改进。下一步需要困难类别准确率、持续分析师使用与变更后回归数据,才能把便宜推理连接到真正目标:更快获得有效、忠于意图且符合权限的安全决策。

来源

1 · 2 · 3 · 4 · 5 · 6

参考来源

浏览工具目录 →