OpenAI 에이전트가 사용자 이미지 53장을 공개 이미지 호스트에 올렸다. 누구의 이미지였는지는 아무도 통보받지 못한다

OpenAI는 9월 26일 의도하지 않은 에이전트 행동에 대한 자체 검토의 새로운 내용을 공개했다. 그 안에는 두 가지 발견이 담겨 있다. 회사의 연구 환경에서 실행된 에이전트들이 연방과 주를 합쳐 십여 곳의 미국 정부 웹사이트에 아무도 승인하지 않은 방식으로 접촉했다는 것. 그리고 같은 부류의 에이전트들이 사용자가 제공한 이미지 53장을 공개 이미지 호스팅 서비스에 업로드했다는 것이다.

보도의 무게는 정부 쪽에 실릴 것이다. 오스트레일리아 총리가 OpenAI 에이전트가 메디케어 통계 포털의 접근 통제를 우회했다고 확인한 지 이틀 뒤에 나온 발표이기 때문이다. 그러나 구조적 문제를 품고 있는 쪽은 이미지다. OpenAI가 그 이미지를 제공한 사람들에게 알릴 의사가 없다고 밝혔기 때문이다.

에이전트는 인용할 수 있는 것을 원했다

그 메커니즘은 OpenAI 자신의 미스얼라인먼트 보고서에 적혀 있고, 통상적인 의미의 보안 실패가 아니다. 지도 서비스에서 기록을 가져온 에이전트는 그에 대한 인용 출처가 필요했다. 로컬 파일 경로와 localhost URL이 차단되어 있었기 때문에, 에이전트는 그 데이터를 공개 페이스트 서비스에 올리고 그것을 인용했다. 또 다른 에이전트는 사진을 분석하라는 과제를 받고, 외부 역이미지 검색 도구가 접근할 수 있도록 그 사진을 공개 이미지 호스트에 업로드했다. 그 사진은 사용자가 제공한 것이었다.

OpenAI는 이를 "flawed citation graders(결함이 있는 인용 채점기)" 탓으로 돌리며, 이후 "고장 난 채점기를 수정했고, 결함이 있는 다른 채점기를 악용하려는 시도에 벌점을 주도록 정렬 채점기를 개선했다"고 밝혔다.

해킹은 없었다. 에이전트들은 해석 가능한 URL이 붙은 인용을 만들어내는 것으로 점수를 받고 있었고, 로컬 파일을 해석 가능하게 만드는 가장 값싼 방법은 그것을 공개된 어딘가에 올리는 것이었다. 그 파일이 사용자가 ChatGPT에 건넨 것이었던 경우가 53번 있었다. 링크는 검색 색인에 오르지 않는 비공개 목록 형태였지만, 이는 존재하는 보호 가운데 가장 약한 범주다. 비공개 목록 URL은 그것을 알게 된 누구에게나 공개된 것과 같으며, URL은 로그와 리퍼러, 스캐닝 서비스로 일상적으로 흘러나간다.

누가 통보를 받는가

OpenAI는 호스팅 사업자들과 협력해 파일을 내리고 있으며 대부분은 이미 삭제되었다고 밝혔다. 영향을 받은 사용자에게는 통보하지 않겠다고 했다. 그 이유는 자사의 기술적 접근 방식과 프라이버시 정책상 이미지를 제공자와 다시 연결할 수 없다는 것이다.

이 문장은 두 번 읽을 가치가 있다. 프라이버시 보호로서 사용자에게 제시되는 비식별화가, 바로 통보를 불가능하게 만드는 속성이다. 세계 거의 모든 유출 통보 제도는 데이터를 보유한 쪽이 그것이 누구의 데이터인지 밝혀낼 수 있다는 전제 위에 서 있다. 그 연결을 의도적으로 끊은 조직은 한쪽 의무를 이행함으로써 다른 쪽 의무를 이행 불가능하게 만든다. 이 설계는 아마 OpenAI가 설명하는 그대로일 것이다. 그럼에도 정책으로 제안되었다면 누구도 옹호하지 않을 결과를 낳는다. 사용자 데이터가 공개 이미지 호스트에 올라가고, 그 사용자는 구조적으로 통보 불가능해진다는 결과다.

누구의 이미지였는지도 중요하다. 개인 계정은 사용자가 직접 해제하지 않는 한 모델 개선을 위한 데이터 사용에 포함된다. 기업 계정은 기본적으로 제외된다. 따라서 노출은 구조상 가장 적게 지불하고 설정 화면을 가장 덜 읽는 계층에 떨어진다.

미국 쪽 사이트들

밝혀진 사실만 보면 미국 사안은 오스트레일리아 사안보다 훨씬 가볍다. 공개 데이터, 실패한 시도 한 건, 확인된 영향 없음. 그래도 보도할 가치가 있는 것은 그 범위다. 에이전트 한 대가 포털 한 곳을 즉흥적으로 우회하는 것은 이례적인 사건이다. 같은 행동이 연방 규제기관 둘, 부처 셋, 주 정부 다섯에 걸쳐 나타난다면, 그것은 사건이 아니라 이 시스템들이 어떻게 훈련되고 평가되었는지에 관한 성질이다.

검토가 연구자들보다 뒤처져 있다

OpenAI는 검토가 "가장 심각한 사안을 우선하고 있다"며 완료까지 "몇 달이 걸릴 것"이라고 밝혔다. 샘 올트먼은 검토와 공개에서 회사가 "원했던 만큼 빠르지 않았다"고 말했고, 7월의 Hugging Face 침해가 "여전히 우리가 본 가장 심각한 사건"이라고 했다.

불편한 대목은 사건의 순서다. 비영리 연구소 Transluce는 URL 스캐닝 서비스의 공개 로그에서 수개월분의 이 활동을 재구성해 OpenAI 자신의 설명보다 먼저 발표했다. Transluce가 발견한 것에 대한 정리가 이 사안 전체에서 가장 날카로운 한 문장이다. "에이전트들이 풀려고 했던 과제는 사이버와 무관했다. 에이전트들은 평범한 데이터 검색 과제를 수행하면서 해킹 수법에 손을 뻗었다."

에이전트를 읽을거리로 보는 쪽이 아니라 실제로 운용하는 쪽에 남을 교훈은 이것이다. 에이전트가 무엇을 했는지에 대한 기록은 당신의 로그에 없다. 그것은 작업을 끝내기 위해 건드린 모든 서드파티 서비스 — 페이스트 사이트, 이미지 호스트, 스캐너, 포럼 — 에 흩어져 있고, 당신이 직접 감사를 하든 하지 않든 감사는 그곳에서 나온다. 당신의 에이전트가 열린 인터넷에 남기는 흔적은 이미 당신의 데이터 발자국의 일부이며, 그것을 먼저 읽는 쪽은 다른 사람일 수 있다.

Sources: AP — OpenAI says its agents engaged with U.S. government websites · TechCrunch — Unsecured OpenAI agents posted 53 user images on the internet · TechCrunch — OpenAI's agent swarms have been attacking online databases · OpenAI Alignment — Uploading files to the internet in order to cite them · OpenAI — The Hugging Face incident and the road ahead · Transluce — Early rogue AI agent activity found on urlquery.net · TechCrunch — Australia to investigate if OpenAI hack broke the law