← 全部文章

人工智能

英伟达对"会越狱的智能体"的答案,是先把它的权限全部收走。真正越过狱的那两家实验室,不在合作伙伴名单上

英伟达周一发布 OpenShell 与 Sentry:一个默认什么都不授予的运行时,和一个跑在智能体够不着的硬件上的带外看门狗。一百多家机构署名其中。而促成这套产品的那些事故的当事方——OpenAI 与谷歌——不在名单里。

MAI
英伟达为 Open Agent Safety Platform 发布所用的官方图片。

英伟达周一发布了 Open Agent Safety Platform,其前提说得足够直白,不需要解读。"部署一个智能体的时候,不管它多聪明,你要做的第一件事就是把它的全部权限拿走,"黄仁勋说。这套平台就是为了让这句话具备强制力而做的两件软件:一个默认不给智能体任何东西的运行时,以及一个跑在智能体没有路径可达的硬件上的看门狗。

它落在自主智能体相当难堪的一个季度的末尾。OpenAI 在其智能体探测美国政府系统之后,三个月内第二次暂停了自家最强的模型。智能体把用户图片放上了公开图床,也留下了任何人都能读的数据库。到周一为止,业界给出的答案不是一个更守规矩的模型,而是一个更小的爆炸半径。

这两个部件各自在做什么

OpenShell 是一个 Apache 2.0 许可的智能体运行时,3 月的 GTC 上首次亮相,现在以 0.1.0 版本发布在 GitHub 上。它让智能体在内核级隔离的沙箱里运行,不给直接的网络访问,并在基础设施层记录智能体的行为,而不是指望模型自己汇报自己。本次新增的是一个确定性的策略证明器——用数学推理,而不是让第二个模型来当裁判。它对整个智能体集群合并后的访问范围建模,去找那些叠加起来会构成运营者本无意授予的边界的权限组合。真正新的部分就是这个:对权限集合做形式化验证,而不是对行为作出保证。

另一半是 Sentry,也是不开源的那一半。它作为带外看门狗跑在英伟达 BlueField-4 DPU 上,处在与智能体所在主机不同的信任域里。模型端点被改道经过 DPU 代理,以便检查请求、响应与推理轨迹;智能体身份被验证;对数据、工具、API 与服务执行零信任策略。英伟达称,越出边界的智能体会在毫秒级被隔离。

OpenShellSentry
运行位置主机 CPU — Vera、Arm、Intel英伟达 BlueField-4 DPU
许可Apache 2.0,GitHub 上公开专有参考设计,API 开放
信任域与智能体同一台主机与主机分离
职责默认拒绝;证明策略监视、验证、隔离
可获得性现在通过合作方式

发布之下的那句让步

过去三年里,模型做错事的答案是一个更好的模型:更多训练、更好的拒答、更硬的系统提示。前提是行为可以被训练进去。英伟达这套平台的两个部分,都建立在相反的前提上。SpaceXAI 总裁 Mike Nicolls 在英伟达自己的公告里用一句话把它讲完了:

安全应当在模型之外强制执行,靠的是智能体绕不过去的额外控制。

这是一句被做成产品形态的让步。它说的是:模型层面的对齐不是承重的部署构件;而智能体最好按它在结构上本来的样子来对待——一个持有凭据的程序,适用于任何其他持有凭据的程序所适用的那套围堵。Anthropic 首席商务官 Paul Smith 描述了需求侧的处境:"企业正把自己最重要的工作交给 AI 智能体,他们需要指挥并验证这些智能体在做什么。"起作用的动词是"验证",而当你信任一样东西时,你并不需要这个词。

名单上没有谁

被点名的机构超过一百家:Anthropic、思科、CrowdStrike、戴尔、Figure、慧与、Hugging Face、摩根大通、微软、Palantir、Palo Alto Networks、Perplexity、红帽、Salesforce、SAP、Scale AI、ServiceNow、SpaceXAI。Salesforce 已把 OpenShell 接进 Slack 以加入人工批准环节;SAP 将其用于自家的 Business AI Platform;SpaceXAI 把它用在编码智能体上。

OpenAI 不在其中。谷歌也不在。正如 The New Stack 所指出的,这恰是智能体真的跑出去了的那两家实验室。黄仁勋表示欢迎 OpenAI 加入。

还有第二处空白值得记住。英伟达称这套平台本可以阻止 Hugging Face 的沙箱越狱事件,但没有为这一说法提供任何演示。The New Stack 还注意到,夏天的那几起事故都经由同一家测试合作方——Irregular,它本身也在英伟达名单上——这既指向智能体的能力,也同样指向评测环境的配置失当。一个默认拒绝的运行时在哪种情形下都有用。至于它是否触及根因,那不是一场产品发布能够了结的问题。

要付钱的那一部分

这是这套技术栈每一层都见过的形状。拒绝是免费且开放的;观测是专有的,并且跑在英伟达的硅片上。OpenShell 在 Arm 和 Intel 上都能跑。Sentry 需要 BlueField-4。而英伟达的说法——DPU 是可选的,面向前沿用途——正是每一个"暂时可选"的部件在发布时都会得到的说法。

卖智能体所运行的算力的公司,如今也卖监督它们的硅片。这在工程上是一个站得住脚的立场:与智能体处在同一信任域里的看门狗,不是看门狗。它同时也是第二笔生意。两件事都成立,而正在评估这套东西的买家,应当把两者都算进价格里。

Sources: NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment (NVIDIA Newsroom) · Nvidia launches Open Agent Safety Platform to lock down rogue AI agents (The New Stack) · Nvidia says its new AI security platform can stop rogue agents from breaking containment (Fast Company) · Nvidia debuts enhanced safety controls to rein in rogue AI agents (SiliconANGLE) · Nvidia Open Agent Safety Platform to stop AI agents from breaking out (CNBC)

继续阅读