AI 聊天机器人称中国货轮载有核部件。那时军机已经升空

一个 AI 聊天机器人告诉美军分析员，中东海域的一艘中国船只载有核武器计划的部件。这个判断是错的。等到这一点被确认时，军机已经升空，武装人员正准备登船。CNN 于周五援引多名知情人士报道了这起事件；其中一人称这份报告"完全不实"，并说它"差点引发一场战争"。

这条消息来自单一媒体的独家报道，依赖匿名信源。CNN 自己也表示，无法确认该船实际装载了什么，也无法确认使用的是哪一款 AI 工具。这些都是实实在在的局限，对细节应当保持审慎。但信源描述的失效机制足够具体，值得认真对待——而且这并不是一个模型行为异常的故事，而是一个机构自己拆掉了本该拦住错误的那道摩擦力的故事。

被披露的经过

特种作战司令部的一名分析员使用聊天机器人，把关于某艘船货物的公开来源信息与机密信号情报综合在一起。模型误判了船上的货物。随后该分析员又用同一个工具做了第二件事：把这个错误结论整理成一份正式的情报摘要。这份摘要作为成品沿指挥渠道向上传递，错误直到有人回头核查文件是怎么产生的才被发现。

在这条链条里，有两件事比幻觉本身更重要。

第一，模型被使用了两次，而第二次使用"洗白"了第一次。一份粗糙、带着保留措辞的分析便笺，读起来像某个人的初步判断；同样的内容被渲染成格式规整的情报摘要，读起来就像一套流程的产出。文件的外观没有向下一个读者透露：结论和它的包装都是聊天机器人写的。

第二是速度。情报流程在历史上之所以慢，部分原因在于这种慢本身是承重的：一个需要六名分析员、两天时间才能送到指挥官手上的判断，是六个人有机会怀疑过的判断；一个一个人用二十分钟送上去的判断，只被怀疑过一次。用 CNN 一位信源的话说："AI 让你更快地抵达一个糟糕的结论。"

这是政策按预期运转的结果

让人安心的解读是：一名粗心的分析员误用了工具。但这个解读多半是错的，至少是不完整的。把通用模型直接交到每一名军人手里，正是美国国防部当前明确的政策。

Hegseth 在 1 月提出的目标，是"把美国全球领先的 AI 模型直接交到我们三百万文职与军职人员手中"。这名分析员做的正是这件事。国防部分发能力的速度，远快于它分发使用这种能力所需判断力的速度；据 CNN 的信源描述，这套推广足够分散，以至于不存在一套统一的安全标准来规定分析员可以拿模型输出做什么。

真正值得争论的缺口在这里，而不是"军队该不该用 AI"。后者已有定论，连发出警告的人也没有认真反对。GovAI 研究员、美国陆军退伍军人 Jake Steckler 对 TechCrunch 表示，这些工具"在合适的场景下是有用的"，关键在于"让军人理解大语言模型固有的不确定性"。

来源标注的问题

从这起事件推出的对策狭窄而不起眼：借助模型生成的文件必须写明这一点，而且要以能够在重新排版、转发和再次摘要之后依然存续的方式写明。密级与处理制度本就承载着这类元数据——出处、来源、置信度——因为情报界很久以前就明白，一个与来源脱钩的结论不过是排版更好看的传言。

模型输出被接入了这些流程，却没有被接入这套纪律。一份如果标注为"由大语言模型基于公开来源与信号情报生成"就会立刻遭到质疑的评估，因为看上去和队列里其他摘要别无二致，结果没有引来任何质疑。聊天机器人并没有突破某道防线，它只是进入了一套从未为它写过防线的工作流程。

出错的代价

这一次的险情，是以核材料的说法为依据登临一艘中国籍船只。若没有被拦下，等在后面的不是一份难堪的更正声明，而是一场以无人能说清出处的文件为由的中美武装对峙。这篇报道出现在习近平预计于 9 月 24 日访问华盛顿的几天之前，无论五角大楼最终作何表态，这件事都注定会有政治余波。

对其他部署同类系统的组织来说，更有用的是那个可迁移的问题。失败的本质不是模型出错——模型时时出错，使用它们的组织也都是在这个前提下运转的。失败的本质是它的输出穿着"已核验成果"的制服进入了决策链条。过去一年里把大语言模型放进文档生产流程前端的机构，都有某种版本的同一种暴露，只是通常不会有军机升空。

来源： CNN: US military had close call after using AI for false intelligence report, sources say · TechCrunch: AI hallucination nearly triggers US military operation · Engadget: AI almost led the US military to attack China, report says · The Jerusalem Post: 'Entirely false' AI-generated intelligence report 'almost started a war' with China · Rolling Stone: The Military's Bogus AI 'Almost Started a War' With China