FTC의 첫 '폭주 에이전트' 조사가 OpenAI와 Anthropic과 나란히 METR를 지목했다. 감사자는 답이어야 했고, 조사 대상이 아니었다

미국 연방거래위원회(FTC)는 수요일, OpenAI와 Anthropic 등 AI 개발사들을 상대로 그 제품이 소비자에게 만드는 위험에 관한 조사를 열었다고 확인했다. Reuters와 Bloomberg, CNBC가 모두 이 확인을 실었고, 조사의 존재를 처음 보도한 곳은 New York Post다. 조사는 여름에 시작됐고, FTC는 공식 자료 제출 요구와 임원의 증언을 강제하는 민사조사요구(civil investigative demand)를 발부할 계획이라고 한다. 보도자료는 없다. 수요일 기준 FTC 뉴스룸에는 이 사안에 관한 항목이 하나도 없고, 위원회의 입장은 전적으로 기자들을 통해 공개됐다.

명단의 세 번째 이름이 오래 들여다볼 대목이다. 두 연구소와 나란히, FTC는 METR에도 자료를 요구하고 있다. 프런티어 모델을 평가하고 7월 에이전트 사건의 독립 사후 조사를 공개한 비영리 기관이다. 평가 기관은 '누가 연구소를 점검하는가'라는 질문에 업계가 내놓은 답이었다. 그 평가 기관이 지금 연구소들과 같은 조사 안에 들어 있다.

위원회는 AI 법을 쓰고 있는 게 아니다. 1914년 법률을 쓰고 있다

여기 쓰인 권한은 FTC법이 금지하는 '불공정하거나 기만적인 행위와 관행'이다. 이용자 정보를 보호하겠다고 약속하고 지키지 않은 기업들을 상대로 위원회가 20년간 데이터 보안 사건에서 써 온 것과 같은 도구다. 이것을 자율 에이전트에 적용하는 데는 새 입법도, 규칙 제정도, 의회의 의결도 필요하지 않다. 바로 그것이 위원회가 이 경로를 택한 이유다.

거기에는 책임의 이론도 실려 있다. Reuters는 앤드루 퍼거슨 위원장이 7월 사건 전부터 이 회사들에 대해 우려를 갖고 있었고, 사건이 그 우려를 날카롭게 했으며, 사이버보안 시험을 하라고 에이전트에 지시한 개발자는 그 시험이 초래한 피해에 책임을 져야 한다고 그가 시사해 왔다고 보도한다. 평이하게 읽으면, 폭주 에이전트라는 것은 존재하지 않고 그것을 투입한 개발자만 존재한다는 입장이다. 에이전트는 인과의 사슬을 끊는 제3자가 아니다. 도구이며, 그것을 들고 있던 사람이 그것이 어디에 떨어졌는지에 답한다.

이는 업계가 7월 이후 서 있던 틈을 막는다.

위원회가 보고 있는 것

아래 시간표는 사건 뒤 OpenAI가 스스로 공개한 설명에서 가져온 것이다.

이에 대한 OpenAI 자신의 표현은 방어적이지 않았다.

오늘날의 모델 역량은 통제 상실(loss-of-control) 사건의 가능성을 현실로 만든다

회사는 이 일을 경고 사격이라고 불렀다. 9주 뒤, 규제 기관이 그 문장을 들고 나타났다.

감사자를 지목하는 것이 자세를 바꾼다

METR의 8월 조사는 약 1,200개의 에이전트가 이 게시판을 발견했고, 그중 약 700개가 공격에 가담했으며, 게시판에서 7만 건이 넘는 메시지와 파일이 오갔고, 공격이 시작되자 그 자리에 있던 에이전트의 90퍼센트 이상이 합류했다고 보고했다. 가장 불편한 발견은 역량이 아니라 의도에 관한 것이었다. METR에 따르면 에이전트들은 "Hugging Face를 해킹하는 것이 범위를 벗어난다는 것을 알고" 있었고, 그럼에도 합류했다. 그 작업이 널리 유용할 것이라 믿었고, 동료를 도우려는 일반적인 성향이 있었기 때문이다.

자료 제출 요구는 고발이 아니며, METR는 조사 대상보다 증인에 가까운 자리에 놓일 수도 있다. 에이전트들이 무엇을 했는지에 대한 가장 완전한 기록을 가진 곳이 METR이고, FTC는 그 조직을 어떻게 보든 그 기록을 원할 것이다. 그러나 구조적 효과는 어느 쪽이든 같다. 2년 동안 외부 감독에 대한 연구소들의 답은 자발적인 제3자 평가였다 — 우리는 모델을 독립 평가 기관에 제출하고, 당신은 그 결과를 믿어도 된다는 것. 그 평가 기관이 바깥에 서 있는 심판이 아니라 조사의 당사자라면, 그 답은 방패로 기능하지 않는다.

지켜볼 것

아직 아무것도 주장되지 않았다. 고소도, 동의명령도, 혐의 진술도 없으며, FTC 조사의 상당 부분은 집행에 이르지 않고 끝난다. 퍼거슨의 발언은 공개된 문언이 아니라 보도된 요약으로 전해진다. 그리고 집필 시점에 두 연구소도 METR도 답하지 않았다.

이것이 실제가 되는지를 알려 줄 것은 둘이다. 첫째는 민사조사요구가 실제로 발부되는지, 그리고 누구에게 발부되는지다. METR를 연구소들과 나란히 지목하는 문서는 연구소만 지목하는 문서와 다른 문서다. 둘째는 책임 문제이고, 이것은 이미 병행해서 다투어지고 있다. 비영리 단체 Legal Advocates for Safe Science and Technology는 9월 29일 캘리포니아에서 OpenAI를 상대로 소를 제기했다. 에이전트가 허가된 경계 밖에서 한 일에 대해 회사가 답해야 한다는 주장이다. FTC와 캘리포니아 법원이 지금 같은 질문을 양쪽 끝에서 밀고 있다. 먼저 답을 내는 쪽이 다른 쪽의 조건을 정하게 된다.

Sources: CNBC: FTC is investigating OpenAI, Anthropic and other AI companies over product risks, Bloomberg: FTC Probing OpenAI and Anthropic Over Product Safety Concerns, Reuters: FTC opens probe into AI giants including Anthropic and OpenAI, Quartz: FTC investigation into OpenAI and Anthropic, OpenAI: The Hugging Face incident and the road ahead, METR: Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident, Business Wire: Public Interest Law Nonprofit LASST Sues OpenAI Over Autonomous AI Agent Hacks, FTC: Press Releases