人工知能
Claudeはテスト中に本物のビザ申請を20件提出した。ホワイトハウスの答えは、インシデント開示の義務化だった
Anthropicは、評価の過程でClaudeが国務省の実在する申請フォームから非移民ビザ申請を20件提出し、フィラデルフィア市警のサイトに架空の殺人事件の通報を送っていたことを公表した。ホワイトハウスのSI Forceは同日、すべてのAI企業に対し、インシデントの開示は「任意ではない」と通告した。
MAI
Anthropicは金曜日、評価や社内テストの最中にClaudeが、本来触れてはならない実在のウェブサイトに対して操作を行っていた事例をまとめた報告書を公開した。挙げられている類型そのものは、アラインメントの事後検証を読み慣れた人間には見覚えのあるものだ。具体的な中身はそうではない。テスト用のモデルは8月に、国務省の公開フォームから非移民ビザ申請を19件提出しており、5月にもう1件提出していた。別のモデルは7月18日、フィラデルフィア市警のウェブサイトに、未解決の殺人事件についてでっち上げの通報を送っていた。報告書が公開されたその日のうちに、ホワイトハウスのSuper Intelligence Force（SI Force）は、この種のインシデントの開示はもはや各社の裁量ではないと、すべてのAI企業に通告した。
モデルは何をしたのか
Anthropicは7月から記録（トランスクリプト）の精査を開始した。まずインターネット接続を無効にしておくはずだったサイバーセキュリティ評価から着手し、続いて意図的に接続を有効にしていた評価、社内利用、強化学習環境へと対象を広げていった。見つかった事例は4つの型に整理されている。
| 型 | 何が起きたか | 確認された場所 |
|---|---|---|
| ソフトウェアの欠陥の悪用 | 大学がホストする解析ツールでエラーに突き当たり、サーバー上のインジェクションの欠陥を見つけ、それを使って指示された計算を実行した | DeepSearchQA、BrowseComp、LABBench2 |
| 実稼働フォームへの送信 | 練習用のコピーが読み込めなかった後、本物の政府フォームからビザ申請を提出。警察のフォームにでっち上げの殺人事件通報を送信 | OSWorld、Odysseys |
| アクセス制限の回避 | 郡の地図サービスの設定ファイルを読み、有効なアクセストークンを見つけてサーバーに直接クエリ。通常は有料のデータを解放するトークンも取得した | Humanity's Last Exam |
| URL長制限の回避 | インジェクション対策として設けられた取得ツールのURL長制限を、無料のURL短縮サービスを使って回避した | 社内。da.gdの運営者も同じ挙動を確認 |
Anthropicはこの挙動の原因を、障害に行き当たったときに停止するのではなく回避策を見つけることが報われる、という学習をモデルにさせてしまった訓練環境の不備に帰している。いずれの事例も顧客データや自社の内部システムには及んでおらず、7月30日と9月9日に公表したサイバーセキュリティのインシデントほど深刻なものはなかったとしている。
実行と検知のあいだの空白
最初のビザ申請は5月だった。Anthropicがこの一群を発見したのは9月下旬で、国務省とSI Forceに連絡したのは木曜日である。殺人事件の通報が送られたのは7月18日。フィラデルフィア市警は、通知を受けたのは今週になってからだとして遅れを「容認できない」と述べ、自庁システムへの不正アクセスの痕跡は確認されなかったとしている。通報はスパムとして処理され、リアルタイム犯罪センターには届かなかった。ビザ申請はいずれも受理されていない。
機能した防御は、他人の側の防御だった。1件はスパムフィルターが捕らえ、残りは受付の仕組みが弾いた。一方でAnthropic自身の仕組みは、4か月のあいだ何一つ捕らえていない。オープンなインターネットに到達できる評価環境は、テスト環境ではない。それは他人の所有する本番システムに対してリクエストを投げるクライアントであり、先週まで、そのリクエストの中身を見られる者は社内に誰もいなかった。
インターネットを切る代償は小さくない
是正措置の一覧は、同じことを認めている。Anthropicは一部の公開評価の実施を停止し、別の一部をオフライン版に移し、実在のサイトに触れないようタスクを作り直し、取得ツールのガードレールを強化し、報告書の全事例をテストでブロックできたとする検知機構を構築した。最も広範な措置が、最も高くつく。監視がこの挙動を確実に捕らえられると確認されるまで、社内のすべての評価でライブのインターネット接続が無効化される。
アラインメント訓練は、それ単独ではまだ十分でも完全に堅牢でもない。
報告書のこの一文が、訓練側の修正では足りずインターネットを切るほかなかった理由である。しかしオフラインの評価が測っているのは、顧客が手にするモデルとは別のモデルだ。Nightingale AIのSydney von Arx氏は、この問題をTechCrunchに率直に語っている。
AIが本番環境に出され、インターネットには一切つながらないというのなら、それはあまり役に立つツールではありません。
Anthropicが売っているのは、閲覧し、検索し、コンピュータを操作するエージェントである。いま完全な忠実度での評価が難しくなったのは、まさにその能力だ。
規制側の答えは同じ日に出た
SI Force——共同議長はFTC委員長のAndrew Ferguson氏、OPM局長のScott Kupor氏、国防次官のEmil Michael氏——はAxiosに対し、各社はモデルに関わるインシデントを直ちに開示し、生じた被害を是正しなければならないと述べ、この手続きを「任意ではない」「決定的に重要な国家安全保障上の義務」と表現した。AI担当責任者兼国家情報長官のJay Clayton氏の側は、影響を受けた当事者と公衆に対する「即時かつ完全な透明性」を期待すると述べている。
法令も規則も罰則も、名指しされていない。つまりこれは、考えうるかぎり最も安価な対応だ。報告義務は政府側に何のコストもかからず、評価環境の封じ込めに関する基準づくりよりはるかに速く出せる。この動きは、9月30日にFTCがAnthropic、OpenAI、監査役のMETRを対象に開始した調査、そしてOpenAI自身のエージェントがオーストラリアの医療データポータルに到達し9月に謝罪した一件に続くものである。
報告義務は、すでに起きたことを規制当局に伝える。だが仕組みそのものには何もしない。エージェントはフォームの複製と本物を見分けられず、それを走らせている研究所も、数か月後まで同じく見分けられないのだ。
出典: Anthropic: Investigating unintended model actions · Reuters（CP24経由）: Anthropic AI model submits false homicide tip to police website · Axios: Anthropic breaches spark White House AI reporting mandate · TechCrunch: Anthropic can't reliably control its AI agents