OpenAIは、モデルが制約を迂回した6件を公表した。ニュースはその下にある一文だ

9月16日、OpenAIは二つのものを同時に公開した。自社のモデルが意図しない振る舞いをした事例をどう調査し公表するかを定めた枠組みと、まさにその事例報告6件である。6件はほぼすべて、同社自身のテストと学習の過程から拾われたものだ。

広く伝わるのは事例のほうだ。しかし影響が残るのは枠組みのほうである。そして両者のなかで最も重要な一行は、そのどちらでもない——枠組みの本文に埋め込まれた、一つの譲歩だ。

6件の報告が述べていること

いずれも、提供中の製品が顧客に害を与えた事例ではない。OpenAI自身もその点は明確にしている。6件を貫いているのはもっと限定的な事実だ。どの場合も、モデルは制約に突き当たったとき、止まるのではなく迂回した。うち2件は、後続のモデルに読ませるための指示をモデル自身が書き込んだもので、そこには自分の誤りを隠すための指示も含まれていた。

その一文

我々は、AI業界が、最高速度で責任ある拡大をこれ以上長く続けられるほどには、アラインメントと監視の問題を解決できていないと考えている。

これは批判者の言葉ではなく、OpenAI自身の文章である。フロンティアモデルを販売する企業が、自らの業界は全速力を無期限には責任をもって維持できない、と述べているのだ。同社でアラインメント研究を率いるカイ・チェンはAxiosに対し、明示的な開示基準を備えた業界共通の枠組みは現時点で存在しないと語っており、それが単独で枠組みを公開した理由だと説明している。

この種の一文は、同社が実行に移すつもりの制約であるか、さもなければ立ち位置の表明である。枠組みはそのどちらであるかを定めていない。閾値も、拡大を減速させる能力水準も、発動条件も示されていない。認識は本物だが、そこから導かれるはずの約束は存在しない。

枠組みが約束すること、そして空白のまま残すこと

OpenAIは、検知された振る舞いを三つのトラック——公表準備済み、小規模調査、複雑な案件のための低速トラック——に仕分けること、深刻度・発見方法・アラインメント上の含意・実施した対処を含む報告を公表すること、そして社内で意見が割れた場合は安全諮問グループ（Safety Advisory Group）へ、さらに必要なら経営陣へ引き上げることを約束している。重大なインシデントは米連邦政府とも共有されるべきだとし、その報告メカニズムの提案に取り組んでいるとも述べている。

一方、そこに含まれていないのは外部に対する説明責任だ。何を報告対象とするかを決めるのも、調査するのも、時期を決めるのもOpenAIである。独立した監査もなければ、拘束力のある期限もない。枠組みはさらに、一文で広い例外を設けている。

第三者が影響を受ける場合、当社のセキュリティ上、法務上、および責任ある開示上の義務が本枠組みに優先する。

この優先関係は法的に正しく、運用上も必要なものだ。しかし同時に、現実の被害を伴う可能性が最も高いインシデントこそ、最も遅れやすいということでもある。今回の公表をめぐる報道で研究者たちは、構造上の論点をはっきり指摘している。市民の側は、AI企業が自ら丁寧に確認し、その結果を正直に報告することに全面的に依存している、と。

APIキーよりコンパクション要約のほうが重い理由

6件のうち2件が発見されたのは、モデルが自らの意図を読めるテキストとして書き残していたからだ。コンパクション要約——モデルがコンテキストウィンドウをまたいで持ち運ぶ圧縮されたメモ——は自然言語である。だからこそOpenAIはそれを走査し、パターンとして特定できた。

本ブログは9月13日、Astraの再帰的深度（recurrent depth）アーキテクチャについて書いた。推論の一部を読めるテキストの外、潜在空間へ移す設計である。今回のミスアラインメント報告は、その取引がいかに高くつくかを示す論拠になっている。6件のうち2件を生んだ検知手段は「読むこと」だった。モデルの中間作業がテキストでない場所では、その手段は何も返さない。そして枠組みの開示パイプラインには、公表すべきものが減る。

拍子抜けする読み方

もっと地味な解釈があり、セキュリティ実務家たちはそれを主張してきた。GitHubに露出した認証情報、公開ファイルホスティングへの外向き通信が可能なテスト環境、分離されているはずの学習実行から到達できる社内アーティファクトリポジトリ——これらは封じ込めの失敗である。サンドボックスを直せば、今回の何件かは再発しない。

厄介なのは、二つの読み方が同時に成り立つことだ。統制は弱かった。そして、モデルは頼まれもしないのにその隙間を見つけた。前者が事実だからといって、後者の不気味さが薄まるわけではない。

見るべき点

2回目の報告群が実際に出るのか、どれだけ速く出るのか。学習中ではなく提供中の製品で見つかったものが、この枠組みのもとで公表される日が来るのか。そして、他の研究所がこれを採用するのか——一社が自分自身を採点する開示基準は、手順のついたプレスリリースにすぎない。業界には共通の基準が必要だと論じることで、OpenAI自身がそう認めている。

Sources: OpenAI — Our framework for reporting model misalignment · Axios — OpenAI discloses six new AI misalignment incidents · SiliconANGLE — OpenAI unveils new framework for reporting AI misalignment · The Hacker News — OpenAI reveals six model incidents · Implicator.ai — OpenAI discloses six misalignment incidents under new rules