AI 챗봇이 "중국 선박에 핵 부품"이라고 했다. 그때 항공기는 이미 떠 있었다

AI 챗봇은 미군 분석관에게 중동 해역의 한 중국 선박이 핵무기 프로그램 부품을 싣고 있다고 알렸다. 그 판단은 사실이 아니었다. 오류가 확인됐을 때 군용기는 이미 떠 있었고, 무장 병력은 선박 승선을 준비하고 있었다. CNN은 금요일 사정에 밝은 복수의 소식통을 인용해 이 사건을 보도했다. 한 소식통은 해당 보고서를 "완전한 허위"라고 표현하며 "전쟁을 일으킬 뻔했다"고 말했다.

이 이야기는 한 매체의 단독 보도이며 익명 취재원에 의존하고 있다. CNN 자신도 선박이 실제로 무엇을 싣고 있었는지, 어떤 AI 도구가 사용됐는지는 확인하지 못했다고 밝혔다. 분명한 한계이며, 세부 사항을 얼마나 확정적으로 받아들일지는 신중해야 한다. 그러나 소식통들이 묘사한 실패의 구조는 충분히 구체적이어서 진지하게 볼 만하다. 그리고 이것은 모델이 이상하게 작동했다는 이야기가 아니다. 오류를 걸러냈을 마찰을 조직 스스로 제거해버렸다는 이야기다.

보도된 경위

특수작전사령부의 한 분석관이 선박 화물에 관한 공개 출처 정보와 기밀 신호정보를 종합하기 위해 챗봇을 사용했다. 모델은 화물을 잘못 식별했다. 분석관은 이어 같은 도구를 한 번 더 사용해, 그 잘못된 판단을 공식 정보 요약 형식으로 다듬었다. 요약본은 완성된 산출물로서 지휘 계통을 타고 올라갔고, 오류는 누군가가 그 문서가 어떻게 만들어졌는지를 거슬러 확인한 뒤에야 드러났다.

이 흐름에서 환각 그 자체보다 중요한 것이 두 가지 있다.

첫째, 모델이 두 번 사용됐고 두 번째 사용이 첫 번째를 세탁했다는 점이다. 거칠고 유보가 달린 분석 메모는 한 사람의 잠정적 추정으로 읽힌다. 같은 내용이 정제된 정보 요약 형식으로 제시되면 하나의 절차가 낳은 산출물로 읽힌다. 결론과 그 포장을 모두 챗봇이 썼다는 사실은 문서의 외형으로는 다음 독자에게 전혀 전달되지 않았다.

둘째, 속도다. 정보 파이프라인이 역사적으로 느렸던 것은 그 느림 자체가 기능을 했기 때문이다. 지휘관에게 닿기까지 분석관 여섯 명과 이틀이 걸리는 주장은 여섯 사람이 의심할 기회를 가진 주장이다. 한 사람과 20분이 걸린 주장에는 그 기회가 한 번뿐이다. CNN의 한 소식통은 이렇게 표현했다. "AI는 나쁜 결론에 더 빨리 도달하게 해준다."

이것은 정책이 의도대로 작동한 결과다

편안한 해석은 부주의한 분석관이 도구를 잘못 썼다는 것이다. 그러나 그것은 틀렸거나, 적어도 불완전하다. 범용 모델을 개별 장병의 손에 직접 쥐여주는 것은 현재 미 국방부의 명시적 정책 그 자체다.

1월에 헤그세스 장관이 내건 목표는 "세계 최고 수준의 미국 AI 모델을 300만 명의 민간·군 인력의 손에 직접 쥐여주는 것"이었다. 이번 분석관은 정확히 그대로 했다. 국방부는 역량의 배포를, 그 역량을 쓰는 데 필요한 판단력의 배포보다 훨씬 빠르게 진행했다. CNN의 소식통들에 따르면 도입은 분산적으로 이뤄져, 분석관이 모델 출력을 어떻게 다뤄도 되는지를 규정하는 단일한 안전 기준이 존재하지 않는다.

논쟁해야 할 간극은 바로 거기에 있다. "군이 AI를 써야 하는가"가 아니다. 그 문제는 이미 결론이 났고, 경종을 울리는 쪽조차 진지하게 다투지 않는다. GovAI 연구원이자 미 육군 참전 군인인 제이크 스테클러는 TechCrunch에 이 도구들이 "적절한 맥락에서는 유용할 수 있다"며, 중요한 것은 "장병들이 LLM에 내재한 불확실성을 이해하는 것"이라고 말했다.

출처 표기의 문제

이 사건이 가리키는 해법은 좁고 화려하지 않다. 모델의 도움을 받아 만들어진 문서는 그 사실을 명시해야 한다. 그것도 다시 서식이 바뀌고, 전달되고, 또 한 번 요약돼도 살아남는 형태로 말이다. 비밀 등급과 취급 체계는 이미 그런 종류의 메타데이터, 즉 작성 주체·출처·신뢰도를 담고 있다. 결론이 그 출처와 분리되면 서체만 그럴듯한 소문에 지나지 않는다는 것을 정보 공동체는 오래전에 배웠기 때문이다.

모델 출력은 그 규율 없이 파이프라인에 추가됐다. "공개 출처와 SIGINT를 입력으로 LLM이 생성"이라고 표기됐다면 즉시 이의가 제기됐을 평가가, 대기열의 다른 요약본과 똑같이 보였기에 아무 이의도 받지 않았다. 챗봇이 안전장치를 뚫은 것이 아니다. 해당 안전장치가 애초에 작성된 적 없는 업무 흐름 안으로 들어온 것이다.

틀렸을 때 치르는 대가

이번 아슬아슬한 상황은 핵물질 주장을 근거로 중국 국적 선박에 승선하는 일이었다. 막히지 않았을 경우 기다리고 있던 것은 창피한 정정 보도가 아니다. 아무도 출처를 댈 수 없는 문서를 명분으로 한 중국과의 무력 충돌이다. 이 보도는 시진핑 주석의 9월 24일 워싱턴 방문 예정을 며칠 앞두고 나왔다. 국방부가 결국 무슨 말을 하든, 이 사안이 정치적 여진을 남기는 것은 피하기 어렵다.

같은 시스템을 도입한 다른 모든 조직에 유용한 것은 일반화 가능한 질문 쪽이다. 실패의 본질은 모델이 틀렸다는 데 있지 않다. 모델은 끊임없이 틀리고, 그것을 쓰는 조직은 그 전제 위에서 버틴다. 실패의 본질은 그 출력이 '검증된 산출물'의 제복을 입고 의사결정 사슬 안으로 들어갔다는 데 있다. 지난 1년 사이 문서 작성 워크플로 앞단에 LLM을 놓은 조직이라면 어디든 같은 종류의 노출을 안고 있다. 다만 보통은 군용기가 뜨지 않을 뿐이다.

출처: CNN: US military had close call after using AI for false intelligence report, sources say · TechCrunch: AI hallucination nearly triggers US military operation · Engadget: AI almost led the US military to attack China, report says · The Jerusalem Post: 'Entirely false' AI-generated intelligence report 'almost started a war' with China · Rolling Stone: The Military's Bogus AI 'Almost Started a War' With China