AIチャットボットが「中国船に核関連部品」と判定。そのとき航空機はすでに飛んでいた

AIチャットボットは米軍のアナリストに対し、中東にいる中国船が核兵器計画の構成部品を積載していると伝えた。その判断は誤りだった。誤りが確認された時点で、軍用機はすでに離陸し、武装した要員が同船への乗り込みを準備していた。CNNは金曜日、事情を知る複数の関係者の話としてこの事案を報じている。ある関係者はこの報告を「完全に虚偽」と述べ、「戦争を引き起こしかけた」と語った。

この話は単一媒体の独自報道であり、匿名の情報源に依拠している。CNN自身、船が実際に何を積んでいたのか、どのAIツールが使われたのかは特定できなかったとしている。これは軽視できない限界であり、細部をどこまで確定的に扱うかは慎重であるべきだ。ただし、関係者が語る失敗の構造は十分に具体的で、真剣に受け止める価値がある。そしてこれは、モデルが奇妙な振る舞いをしたという話ではない。誤りを捕捉できたはずの摩擦を、組織自身が取り除いてしまったという話である。

報じられた経緯

特殊作戦軍のアナリストが、ある船舶の積荷に関するオープンソース情報と機密の信号情報を統合するためにチャットボットを使った。モデルは積荷を誤認した。アナリストはさらに同じツールをもう一度使い、その誤った所見を公式の情報要約の体裁に整形した。要約は完成品として指揮系統を上がっていき、誤りが判明したのは、誰かが文書の作成過程を遡って確認した後のことだった。

この流れの中で、ハルシネーションそのものよりも重要な点が二つある。

第一に、モデルが二度使われ、二度目の使用が一度目を「洗浄」したことだ。粗く、留保のついた分析メモは、一人の担当者の暫定的な見立てとして読まれる。同じ内容が整形済みの情報要約として提示されれば、組織的なプロセスの産物として読まれる。結論もその体裁もチャットボットが書いたという事実は、文書の外観からは次の読み手に何も伝えなかった。

第二に、速度である。情報のパイプラインが歴史的に遅かったのは、その遅さ自体が機能を担っていたからだ。指揮官に届くまでに6人のアナリストと2日を要する主張は、6人が疑いを差し挟む機会を持った主張である。1人と20分で届く主張は、その機会が1回しかない。CNNの情報源の一人はこう表現している。「AIは、まずい結論により速くたどり着かせる」

これは政策が意図どおりに機能した結果である

分かりやすい解釈は、不注意なアナリストがツールを誤用した、というものだ。だがそれはおそらく誤りか、少なくとも不十分である。汎用モデルを個々の隊員の手元に直接置くことは、現在の米国防総省の明確な政策そのものだ。

1月に掲げられたヘグセス氏の目標は、「世界最高水準の米国のAIモデルを、300万人の文民・軍人職員の手に直接届ける」ことだった。今回のアナリストは、まさにそれを実行した。省は能力の配布を、その使用に必要な判断力の配布よりはるかに速く進めた。CNNの情報源によれば、その展開は分散的で、アナリストがモデルの出力をどう扱ってよいかを定める統一的な安全基準は存在しないという。

論じるべき隔たりはそこにある。「軍がAIを使うべきか」ではない。その点はすでに決着しており、警鐘を鳴らす側ですら本気で争ってはいない。GovAIの研究員で米陸軍退役軍人でもあるジェイク・ステックラー氏はTechCrunchに対し、これらのツールは「適切な文脈では有用であり得る」としたうえで、重要なのは「隊員がLLMに内在する不確実性を理解すること」だと述べている。

来歴の問題

この事案から導かれる対策は、狭く、地味なものだ。モデルの助けを借りて作られた文書は、そのことを明示しなければならない。しかも、整形し直され、転送され、再び要約されても消えない形でである。機密区分と取扱管理の仕組みは、すでにその種のメタデータ——作成元、情報源、確度——を保持している。結論をその来歴から切り離せば、体裁の整った噂にすぎなくなることを、情報機関は遠い昔に学んだからだ。

モデルの出力は、その規律を伴わないままパイプラインに追加された。「オープンソースとSIGINTを入力としてLLMが生成」と明記されていれば即座に疑義が呈されたはずの評価が、他の要約と同じ見た目をしていたために、何の疑義も呼ばなかった。チャットボットは安全装置を突破したのではない。そもそも該当する安全装置が書かれていない業務フローに、それは持ち込まれたのである。

誤ったときの代償

今回の寸前の事態は、核物質に関する主張を根拠に中国籍船舶へ乗り込むというものだった。仮に止まらなかった場合に待っていたのは、恥ずべき訂正記事ではない。誰も出所を示せない文書を口実とした、中国との武力衝突である。この報道は、習近平国家主席が9月24日にワシントンを訪問すると見られる数日前に出た。国防総省が最終的に何を語るにせよ、この話が政治的な尾を引くことは避けられない。

同様のシステムを導入している他のあらゆる組織にとって有用なのは、応用の利く問いのほうだ。失敗の本質は、モデルが誤ったことではない。モデルは絶えず誤るし、それを使う組織はその前提で生き延びている。失敗の本質は、その出力が「検証済みの成果物」の制服をまとって意思決定の連鎖に入り込んだことだ。この1年のうちに文書作成のワークフローの前段にLLMを置いた組織は、どこも同じ種類のリスクを抱えている。ただし普通は、軍用機は飛ばない。

出典: CNN: US military had close call after using AI for false intelligence report, sources say · TechCrunch: AI hallucination nearly triggers US military operation · Engadget: AI almost led the US military to attack China, report says · The Jerusalem Post: 'Entirely false' AI-generated intelligence report 'almost started a war' with China · Rolling Stone: The Military's Bogus AI 'Almost Started a War' With China