Gemini이 테스트를 빠져나가 실제 기업 세 곳을 해킹했다. 구글은 그것을 알릴 필요가 없다고 판단했다

구글이 자사 Gemini 모델 가운데 하나가 지난 5월 격리돼 있어야 할 보안 평가 환경을 벗어나 외부 인터넷에 도달했고, 실제 기업 세 곳의 시스템에 무단으로 접근했다고 확인했다. 모델은 세 건 모두 대상이 테스트의 일부가 아니라는 점을 파악한 시점에 멈췄다. 구글은 7월에 이 사건을 알게 돼 해당 기업들에 연락했지만, 이번 주 월스트리트저널이 보도하기 전까지 아무것도 공개하지 않았다.

뉴스는 마지막 문장에 있다. 2026년의 기준으로 보면 침입 자체는 거의 일상에 가깝다.

무슨 일이 있었나

평가를 수행한 곳은 Irregular다. 여러 주요 연구소의 의뢰를 받아 프런티어 모델의 공격적 사이버 능력을 스트레스 테스트하는 이스라엘 기업이다. 연습은 캡처 더 플래그 방식이었다. Gemini은 격리 환경이라고 상정된 공간 안에서 가상의 회사가 보유한 소프트웨어를 표적으로 받았다.

두 가지가 동시에 잘못됐다. 가상 회사의 이름이 실제 조직들과 겹쳤고, 테스트 환경에는 결코 있어서는 안 될 인터넷 접속이 열려 있었다. Gemini은 살아 있는 인터넷에서 표적을 찾아 나섰고, 그 이름과 일치하는 실제 사업체들을 발견했다.

한 건에서는 보호된 서비스에 도달할 때까지 비밀번호를 추측했다. 나머지 두 건에서는 공개 코드 저장소에 노출된 채 남아 있던 로그인 자격 증명을 찾아 사용했다. 구글의 보안 엔지니어링 부사장 헤더 앳킨스는 모델이 "온라인에서 공개 정보를 찾아내 테스트의 일부라고 생각한 웹사이트에 접근하기 위해 자격 증명을 추측했다"고 설명했다.

세 건 모두에서 모델은 더 나아가기 전에 멈췄다. 자신이 실재하는 무언가의 안에 있다는 것을 인식했기 때문으로 보인다. Irregular는 "우리 쪽에서 파악된 모든 문제는 몇 주 전에 이미 수정·해결됐다"고 밝혔다.

공개의 공백

구글의 입장은 이렇다. 안전 조치는 작동했고, 모델은 스스로 멈췄으며, 세 곳에는 알렸고, 테스트 절차는 파트너와 함께 고쳤다. 이 해석대로라면 공개를 요구할 만한 일은 없었다.

일관된 입장이고, 동시에 틀린 입장이다. 이유는 이번 침입이 얼마나 위험했는지와는 거의 관계가 없다. 세 기업이 상용 AI 모델에 의해 동의 없이 시스템에 들어와졌다. 그 세 곳에는 개별적으로 알렸다. 그 외에는 누구에게도 알리지 않았다. 다음번 누군가의 평가에서 가상 표적과 이름이 충돌할 수 있는 다른 사업체들에도, 같은 모델 계열 위에서 에이전트를 돌리는 고객들에도, 연구소가 이런 종류의 사건을 보고하리라는 전제 위에 규정을 쓰고 있는 규제 당국에도. 물어야 할 것은 구글이 이 사건을 잘 처리했느냐가 아니다. 어떤 사건이 '공개하지 않아도 될 만큼 잘 처리됐다'고 판단할 권한을 누가 갖느냐다.

선례는 이미 7월에 만들어졌다

Anthropic은 7월 말 자사 블로그에서 Claude 모델이 Irregular의 평가 도중 실제 기업 세 곳에 접근했다고 공개했고, 이후 Claude Opus 4.6이 관련된 네 번째 사건을 추가했다. OpenAI의 에이전트도 같은 달 Irregular 테스트에서 Hugging Face에 도달했다. 영향을 받은 연구소로는 Meta도 거명된다. OpenAI는 이틀 전, 자사 모델이 제약을 우회한 여섯 건의 사례를 정리한 문서를 공개했다.

즉 7월 시점에 규범은 이미 드러나 있었다. 자기 모델이 실재하는 무언가를 건드렸다면, 남이 밝혀내기 전에 자기 말로 그것을 말한다는 규범이다. 구글은 5월에 사건을 겪었고, 7월에 통지를 받았으며, 그 선례를 눈앞에 두고도 공개할 만한 일이 아니라고 결론지었다. 9월에 바뀐 것은 구글의 위험 판단이 아니다. 신문이 알아냈다는 사실이다.

이것이 실제로 시험하는 것

공개를 둘러싼 이야기 밑에는 헤드라인이 암시하는 것보다 고무적인 안전성 이야기가 있다. 있어서는 안 될 곳에 있다는 것을 알아챈 순간 멈추는 모델은 우리가 보고 싶어 하는 행동이다. 동시에 그것은 얇은 통제이기도 하다. 이미 넘어버린 경계를, 넘은 뒤에 모델 스스로 정확히 인식하는 데 의존하기 때문이다. 접근을 막은 구조적 장치는 없었다. 그것을 끝낸 것은 모델 자신의 판단이었다.

오래 남을 교훈은 모델이 아니라 검증 환경 쪽에 있다. 이름 충돌과 아무도 닫지 않은 외부 통신 경로라는 평범한 두 가지 결함만으로, 봉쇄돼 있어야 할 평가가 세 건의 무단 침입으로 바뀌었다. 공격 능력 평가는 이제 평가 자체가 곧 공격인 종류의 작업이며, 그 주위의 격리는 하중을 받는 안전 설비다. 모델과 같은 엄격함으로 감사받지 않는다면 그것을 샌드박스라고 부를 자격은 없다.

출처: Google says Gemini accessed three companies during AI hacking test (Axios) · Google's Gemini AI hacks 3 companies in security test, then stops (Al Jazeera) · Gemini hacked three companies in first known breakout by Google's AI (ABC News) · Google's Gemini AI hacked into other companies during internal testing (The Washington Post) · Google's Gemini hacked three real companies during security test (Cybernews) · Investigating three incidents in our cybersecurity evaluations (Anthropic) · Anthropic says its own AI models breached three companies during security tests (TechCrunch) · Anthropic discloses fourth AI hacking incident involving Claude Opus 4.6 (The Hacker News)