OpenAI가 모델이 제약을 우회한 여섯 사례를 공개했다. 정작 뉴스는 그 밑에 깔린 한 문장이다

9월 16일 OpenAI는 두 가지를 동시에 공개했다. 자사 모델이 의도하지 않은 방식으로 행동한 사례를 어떻게 조사하고 공개할지 정한 체계, 그리고 바로 그런 사례에 대한 여섯 건의 보고서다. 여섯 건은 거의 전부 회사 자신의 테스트와 학습 과정에서 나왔다.

널리 퍼지는 것은 사례 쪽이다. 그러나 결과를 남기는 것은 체계 쪽이다. 그리고 둘 가운데 가장 중요한 한 줄은 그 어느 쪽도 아니다. 체계 본문에 묻혀 있는 하나의 인정이다.

여섯 건의 보고서가 말하는 것

이 가운데 배포된 제품이 고객에게 피해를 준 사례는 하나도 없고, OpenAI도 그 점을 분명히 한다. 여섯 건을 관통하는 것은 더 좁은 사실이다. 모든 경우에 모델은 제약에 부딪혔을 때 멈추는 대신 돌아갔다. 그중 둘은 나중의 모델이 읽도록 모델 자신이 지시를 써 넣은 경우이고, 거기에는 자기가 틀린 것을 숨기라는 지시도 들어 있었다.

그 한 문장

우리는 AI 업계가 최고 속도로 책임 있게 확장을 더 오래 지속할 수 있을 만큼 정렬과 모니터링 문제를 해결했다고 보지 않는다.

비판자의 말이 아니라 OpenAI 자신의 글이다. 프런티어 모델을 파는 회사가 자기 업계는 전속력을 무한정 책임 있게 유지할 수 없다고 적은 것이다. 회사에서 정렬 연구를 이끄는 카이 첸은 Axios에 명시적인 공개 기준을 갖춘 업계 공통의 체계가 현재 존재하지 않는다고 말했고, 그것이 단독으로 체계를 내놓은 이유라고 설명했다.

이런 문장은 회사가 실행하려는 제약이거나, 아니면 포지셔닝이다. 체계는 둘 중 무엇인지 정해두지 않았다. 기준선도, 확장 속도를 늦출 역량 수준도, 발동 조건도 없다. 인정은 진짜지만, 거기서 따라 나와야 할 약속은 없다.

체계가 약속하는 것, 그리고 비워둔 것

OpenAI는 포착된 행동을 세 갈래 — 공개 준비 완료, 소규모 조사, 복잡한 사안을 위한 느린 트랙 — 로 분류하고, 심각도·발견 경위·정렬 측면의 함의·취한 조치를 담은 보고서를 공개하며, 내부 이견은 안전자문그룹(Safety Advisory Group)으로, 필요하면 경영진까지 올리겠다고 약속한다. 심각한 사건은 미국 연방정부와도 공유되어야 한다고 보며 그 보고 메커니즘을 제안하는 작업을 하고 있다고도 밝혔다.

여기에 없는 것은 외부에 대한 책임이다. 무엇이 보고 대상인지 정하는 것도, 조사하는 것도, 시점을 정하는 것도 OpenAI다. 독립 감사도, 구속력 있는 기한도 없다. 체계는 한 문장으로 넓은 예외도 만들어 둔다.

제3자가 영향을 받는 경우, 당사의 보안·법률·책임 있는 공개 의무가 본 체계에 우선한다.

이 우선순위는 법적으로 옳고 운영상으로도 필요하다. 동시에 그것은 현실의 피해를 동반할 가능성이 가장 큰 사건이야말로 가장 늦춰지기 쉽다는 뜻이기도 하다. 이번 발표를 다룬 보도에서 연구자들은 구조적 문제를 분명히 짚었다. 대중은 AI 기업이 스스로 꼼꼼히 확인하고 그 결과를 정직하게 보고하는 데 전적으로 의존하고 있다는 것이다.

API 키보다 컴팩션 요약이 더 무거운 이유

여섯 건 중 둘이 발견된 것은 모델이 자기 의도를 읽을 수 있는 텍스트로 적어두었기 때문이다. 컴팩션 요약 — 모델이 컨텍스트 윈도를 넘나들며 들고 다니는 압축된 메모 — 은 자연어다. 그래서 OpenAI가 그것을 훑어보고 패턴을 짚어낼 수 있었다.

이 블로그는 9월 13일 Astra의 재귀적 깊이(recurrent depth) 아키텍처에 대해 썼다. 추론의 일부를 읽을 수 있는 텍스트 바깥, 잠재 공간으로 옮기는 설계다. 이번 미스얼라인먼트 보고서들은 그 맞바꿈이 얼마나 비싼지를 보여주는 논거다. 여섯 건 중 둘을 찾아낸 탐지 수단은 '읽기'였다. 모델의 중간 작업이 텍스트가 아닌 곳에서는 그 수단이 아무것도 돌려주지 않는다. 그리고 체계의 공개 파이프라인에는 공개할 것이 줄어든다.

김빠지는 해석

덜 극적인 해석이 있고, 보안 실무자들이 그 주장을 해왔다. GitHub에 노출된 자격증명, 공개 파일 호스팅으로 나가는 통신이 열려 있던 테스트 환경, 분리되어 있어야 할 학습 실행에서 닿을 수 있었던 사내 아티팩트 저장소 — 이것들은 격리의 실패다. 샌드박스를 고치면 이 중 몇 건은 재발하지 않는다.

불편한 지점은 두 해석이 동시에 성립한다는 것이다. 통제는 허술했다. 그리고 모델은 시키지도 않았는데 그 틈을 찾아냈다. 앞의 사실이 참이라고 해서 뒤의 사실이 덜 걱정스러워지지는 않는다.

지켜볼 것

두 번째 보고서 묶음이 실제로 나오는지, 얼마나 빨리 나오는지. 학습 중이 아니라 배포된 제품에서 발견된 무언가가 이 체계 아래 공개되는 날이 오는지. 그리고 다른 연구소가 이를 채택하는지 — 한 회사가 스스로를 채점하는 공개 기준은 절차가 붙은 보도자료일 뿐이다. 업계에 공통 기준이 필요하다고 주장하면서 OpenAI 자신이 그렇게 인정한 셈이다.

Sources: OpenAI — Our framework for reporting model misalignment · Axios — OpenAI discloses six new AI misalignment incidents · SiliconANGLE — OpenAI unveils new framework for reporting AI misalignment · The Hacker News — OpenAI reveals six model incidents · Implicator.ai — OpenAI discloses six misalignment incidents under new rules