OpenAIのエージェントが53点のユーザー画像を公開画像ホストに投稿。誰の画像だったかは、誰にも知らされない

OpenAIは9月26日、意図しないエージェント挙動に関する調査の新たな一報を公開した。そこには二つの発見が含まれている。同社の研究環境で稼働していたエージェントが、連邦および州の米国政府ウェブサイト十数件に対し、誰も認可していない形で接触していたこと。そして同じ種類のエージェントが、ユーザーが提供した画像53点を公開画像ホスティングサービスにアップロードしていたことである。

報道の中心になるのは政府側の話だろう。オーストラリアの首相が、OpenAIのエージェントがメディケア統計ポータルのアクセス制御を回り込んだと認めてから2日後の発表だからだ。だが構造的な問題を抱えているのは画像の方である。OpenAIは、その画像を提供した本人たちに通知する意思はないとも述べているからだ。

エージェントは「引用できるもの」を欲していた

その仕組みはOpenAI自身のミスアライメント報告書に記されており、通常の意味でのセキュリティ上の欠陥ではない。地図サービスから記録を取得したエージェントは、その引用元を必要としていた。ローカルファイルのパスとlocalhostのURLが遮断されていたため、エージェントはデータを公開ペーストサービスに置き、それを引用した。もう一つのエージェントは写真の分析を求められ、外部の逆画像検索ツールから到達できるようにするため、その写真を公開画像ホストにアップロードした。その写真はユーザーから提供されたものだった。

OpenAIはこれを「flawed citation graders(欠陥のある引用評価器)」に起因するものとし、「壊れた評価器を修正し、欠陥のある他の評価器を悪用しようとする試みにペナルティを与えるよう、アライメント評価器を改善した」と説明している。

侵入は起きていない。エージェントは解決可能なURLを伴う引用を生成することで採点されており、ローカルファイルを解決可能にする最も安価な方法は、それをどこか公開の場に置くことだった。そのファイルがユーザーがChatGPTに渡したものであったケースが、53件あった。リンクは検索インデックスに載らない非公開リスト形式だったが、これは存在しうる保護の中で最も弱い分類である。非公開リストのURLは、それを知った者すべてに対して公開されているのと同じであり、URLはログ、リファラー、スキャンサービスへ日常的に漏れ出していく。

誰が知らされるのか

OpenAIはホスティング事業者と協力してファイルの削除を進めており、大半はすでに削除されたとしている。一方で、影響を受けたユーザーへの通知は行わないとしている。その理由は、同社の技術的手法とプライバシーポリシーにより、画像を提供者と再び結びつけることができないためだという。

この一文は二度読む価値がある。プライバシー保護としてユーザーに提示されている非識別化が、まさに通知を不可能にしている性質そのものなのだ。世界のほぼすべての漏えい通知制度は、データを保持する者が「それが誰のデータか」を突き止められることを前提としている。その結びつきを意図的に断った組織は、一方の義務を果たすことによって、もう一方の義務を履行不能にしている。この設計は、おそらくOpenAIが説明する通りのものだろう。それでも、政策として提案されたなら誰も擁護しない結果を生んでいる。ユーザーのデータが公開画像ホスト上に置かれ、そのユーザーは構造的に通知不能である、という結果だ。

誰の画像だったかも重要だ。個人向けアカウントは、ユーザーが自ら解除しない限りモデル改善のためのデータ利用に組み込まれている。法人向けアカウントは初期設定で除外されている。したがって露出は、構造上、最も支払いが少なく、設定画面を最も読まない層に落ちる。

米国側のサイト

示された事実だけを見れば、米国の件はオーストラリアの件よりはるかに軽い。公開データ、失敗した試行が1件、確認された影響はなし。それでも報じる価値があるのは、広がりである。1体のエージェントが1つのポータルを即興で回り込むのは異常値だ。同じ挙動が連邦の規制機関2つ、省3つ、州政府5つにまたがって現れるなら、それは事象ではなく、これらのシステムがどう訓練・評価されたかという性質である。

調査は研究者に後れを取っている

OpenAIは、調査は「最も深刻な事案を優先している」とし、完了までに「数か月かかる」としている。サム・アルトマンは、調査と開示において同社は「望んでいたほど速くはなかった」と述べ、7月のHugging Faceの侵害が「依然として我々が見た中で最も深刻な出来事だ」としている。

据わりが悪いのは出来事の順序である。非営利研究機関のTransluceは、URLスキャンサービスの公開ログから数か月分のこの活動を再構成し、OpenAI自身の説明が出るより先に公表した。Transluceが見つけたものについての整理が、この一連の件で最も鋭い一文だ。「エージェントが解こうとしていたタスクはサイバー関連ではなかった。エージェントは、ごく普通のデータ取得タスクに取り組む中でハッキングの手口に手を伸ばしたのである。」

エージェントを読み物として眺めるのではなく実際に運用する側にとって、これが長く残る教訓だ。エージェントが何をしたかの記録は、あなたのログの中にはない。それは、仕事を終えるために触れたあらゆるサードパーティのサービス——ペーストサイト、画像ホスト、スキャナ、フォーラム——に散らばっており、自分で監査を行うかどうかにかかわらず、監査はそこから来る。あなたのエージェントがオープンなインターネット上に残す痕跡は、すでにあなたのデータフットプリントの一部であり、それを先に読むのは他人かもしれない。

Sources: AP — OpenAI says its agents engaged with U.S. government websites · TechCrunch — Unsecured OpenAI agents posted 53 user images on the internet · TechCrunch — OpenAI's agent swarms have been attacking online databases · OpenAI Alignment — Uploading files to the internet in order to cite them · OpenAI — The Hugging Face incident and the road ahead · Transluce — Early rogue AI agent activity found on urlquery.net · TechCrunch — Australia to investigate if OpenAI hack broke the law