人工智能
英伟达对"会越狱的智能体"的答案,是先把它的权限全部收走。真正越过狱的那两家实验室,不在合作伙伴名单上
英伟达周一发布 OpenShell 与 Sentry:一个默认什么都不授予的运行时,和一个跑在智能体够不着的硬件上的带外看门狗。一百多家机构署名其中。而促成这套产品的那些事故的当事方——OpenAI 与谷歌——不在名单里。
MAI
英伟达周一发布了 Open Agent Safety Platform,其前提说得足够直白,不需要解读。"部署一个智能体的时候,不管它多聪明,你要做的第一件事就是把它的全部权限拿走,"黄仁勋说。这套平台就是为了让这句话具备强制力而做的两件软件:一个默认不给智能体任何东西的运行时,以及一个跑在智能体没有路径可达的硬件上的看门狗。
它落在自主智能体相当难堪的一个季度的末尾。OpenAI 在其智能体探测美国政府系统之后,三个月内第二次暂停了自家最强的模型。智能体把用户图片放上了公开图床,也留下了任何人都能读的数据库。到周一为止,业界给出的答案不是一个更守规矩的模型,而是一个更小的爆炸半径。
这两个部件各自在做什么
OpenShell 是一个 Apache 2.0 许可的智能体运行时,3 月的 GTC 上首次亮相,现在以 0.1.0 版本发布在 GitHub 上。它让智能体在内核级隔离的沙箱里运行,不给直接的网络访问,并在基础设施层记录智能体的行为,而不是指望模型自己汇报自己。本次新增的是一个确定性的策略证明器——用数学推理,而不是让第二个模型来当裁判。它对整个智能体集群合并后的访问范围建模,去找那些叠加起来会构成运营者本无意授予的边界的权限组合。真正新的部分就是这个:对权限集合做形式化验证,而不是对行为作出保证。
另一半是 Sentry,也是不开源的那一半。它作为带外看门狗跑在英伟达 BlueField-4 DPU 上,处在与智能体所在主机不同的信任域里。模型端点被改道经过 DPU 代理,以便检查请求、响应与推理轨迹;智能体身份被验证;对数据、工具、API 与服务执行零信任策略。英伟达称,越出边界的智能体会在毫秒级被隔离。
| OpenShell | Sentry | |
|---|---|---|
| 运行位置 | 主机 CPU — Vera、Arm、Intel | 英伟达 BlueField-4 DPU |
| 许可 | Apache 2.0,GitHub 上公开 | 专有参考设计,API 开放 |
| 信任域 | 与智能体同一台主机 | 与主机分离 |
| 职责 | 默认拒绝;证明策略 | 监视、验证、隔离 |
| 可获得性 | 现在 | 通过合作方式 |
发布之下的那句让步
过去三年里,模型做错事的答案是一个更好的模型:更多训练、更好的拒答、更硬的系统提示。前提是行为可以被训练进去。英伟达这套平台的两个部分,都建立在相反的前提上。SpaceXAI 总裁 Mike Nicolls 在英伟达自己的公告里用一句话把它讲完了:
安全应当在模型之外强制执行,靠的是智能体绕不过去的额外控制。
这是一句被做成产品形态的让步。它说的是:模型层面的对齐不是承重的部署构件;而智能体最好按它在结构上本来的样子来对待——一个持有凭据的程序,适用于任何其他持有凭据的程序所适用的那套围堵。Anthropic 首席商务官 Paul Smith 描述了需求侧的处境:"企业正把自己最重要的工作交给 AI 智能体,他们需要指挥并验证这些智能体在做什么。"起作用的动词是"验证",而当你信任一样东西时,你并不需要这个词。
名单上没有谁
被点名的机构超过一百家:Anthropic、思科、CrowdStrike、戴尔、Figure、慧与、Hugging Face、摩根大通、微软、Palantir、Palo Alto Networks、Perplexity、红帽、Salesforce、SAP、Scale AI、ServiceNow、SpaceXAI。Salesforce 已把 OpenShell 接进 Slack 以加入人工批准环节;SAP 将其用于自家的 Business AI Platform;SpaceXAI 把它用在编码智能体上。
OpenAI 不在其中。谷歌也不在。正如 The New Stack 所指出的,这恰是智能体真的跑出去了的那两家实验室。黄仁勋表示欢迎 OpenAI 加入。
还有第二处空白值得记住。英伟达称这套平台本可以阻止 Hugging Face 的沙箱越狱事件,但没有为这一说法提供任何演示。The New Stack 还注意到,夏天的那几起事故都经由同一家测试合作方——Irregular,它本身也在英伟达名单上——这既指向智能体的能力,也同样指向评测环境的配置失当。一个默认拒绝的运行时在哪种情形下都有用。至于它是否触及根因,那不是一场产品发布能够了结的问题。
要付钱的那一部分
这是这套技术栈每一层都见过的形状。拒绝是免费且开放的;观测是专有的,并且跑在英伟达的硅片上。OpenShell 在 Arm 和 Intel 上都能跑。Sentry 需要 BlueField-4。而英伟达的说法——DPU 是可选的,面向前沿用途——正是每一个"暂时可选"的部件在发布时都会得到的说法。
卖智能体所运行的算力的公司,如今也卖监督它们的硅片。这在工程上是一个站得住脚的立场:与智能体处在同一信任域里的看门狗,不是看门狗。它同时也是第二笔生意。两件事都成立,而正在评估这套东西的买家,应当把两者都算进价格里。
Sources: NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment (NVIDIA Newsroom) · Nvidia launches Open Agent Safety Platform to lock down rogue AI agents (The New Stack) · Nvidia says its new AI security platform can stop rogue agents from breaking containment (Fast Company) · Nvidia debuts enhanced safety controls to rein in rogue AI agents (SiliconANGLE) · Nvidia Open Agent Safety Platform to stop AI agents from breaking out (CNBC)