핵심 요약
기사 목차 펼치기 / 접기
전쟁의 AI화가 개별 무기를 넘어 군 조직과 지휘체계, 전장 데이터로 빠르게 확산하고 있다. AI인사이트저널은 AI가 전쟁 수행 방식과 군사전략을 어떻게 바꾸고 있는지, 세계 AI 군비경쟁이 어디까지 진행됐는지를 추적한다. 동시에 전장 데이터의 새로운 가치와 AI 작전 확대에 따른 오판·통제 문제를 살펴본다. 마지막 3편에서는 AI가 실제 정보분석과 표적 선정, 무기 개발·사이버 작전에 투입되면서 현실화한 오판 위험과 이를 통제하려는 움직임을 짚는다.
미군이 인공지능(AI)이 잘못 생성한 정보보고서를 토대로 중국 선박에 대한 군사작전을 준비했다가 실행 직전에 오류를 발견한 사실이 드러났다. 같은 달에는 이란 학교 오폭 사건 조사에서 오래된 정보와 AI 시스템에 대한 과도한 의존이 문제로 지목됐고, 미군은 이후 AI 기반 표적 선정 절차를 수정한 것으로 보도됐다.
군사 AI의 안전 문제가 모델의 가상 위험이나 성능 평가를 넘어 실제 군사행동과 표적 선정, 무기 개발, 사이버·첩보 작전의 문제로 옮겨가고 있는 것이다. 미국과 중국의 안보 전문가들은 AI가 핵 지휘체계나 군사 사이버 작전에 개입할 경우 우발적 충돌로 이어질 수 있다며 핵무기 통제와 유사한 안전장치까지 제안했다.
AI가 만든 잘못된 정보…美 전투기 뜨고 중국 선박 승선 준비
CNN은 9월 19일 “올해 봄 이란 전쟁 당시 미군에 배포된 정보보고서가 중동을 항해하던 중국 선박이 핵무기 프로그램 관련 부품을 운반하고 있다고 판단했지만, 작전 직전 이 보고서가 AI의 도움을 받아 작성됐고 챗봇이 화물을 잘못 식별한 사실이 확인됐다”고 보도했다.
미군의 대응은 이미 실행 직전 단계까지 진행돼 있었다. CNN이 인용한 관계자들에 따르면 무장한 미군 병력이 선박 승선을 준비했고 군용기도 공중에 떠 있었다. 이후 당국이 보고서를 다시 검토하면서 오류가 발견돼 작전은 취소됐다. CNN 취재원 한 명은 문제의 보고서에 대해 “전적으로 잘못됐다(entirely false)”며 “전쟁을 일으킬 뻔했다(almost started a war)”고 말했다.
이 사건에서 AI가 스스로 군사행동을 결정한 것은 아니었다. 미 특수작전사령부 소속 분석관이 챗봇을 이용해 중국 선박 관련 정보를 분석하고 공개 정보와 민감한 정보를 결합하는 데 AI 도구를 사용한 뒤, 결과를 통상적인 정보보고서 형태로 작성한 것으로 CNN은 전했다.
문제는 잘못된 AI 출력이 인간의 정보분석 절차를 거쳐 실제 군사작전 직전까지 전달됐다는 점이다. AI의 ‘환각(hallucination)’은 생성형 AI가 사실이 아니거나 근거가 없는 내용을 그럴듯한 사실처럼 만들어내는 현상을 말한다.
아스테크니카(Ars Technica)도 9월 18일 이 사건을 보도하면서 미군의 전반적인 AI 활용이 확대되는 상황에서 잘못된 정보가 실제 군사행동으로 연결될 위험을 지적했다.
이란 학교 오폭…AI 표적 선정의 현실적 위험 드러나
중국 선박 사건에 앞서 미군의 AI 기반 표적 선정 과정에서도 문제가 불거졌다.
9월 18일 블룸버그의보도에 따르면 지난 2월 28일 이란 남부 미나브(Minab)의 샤자라 타예베 초등학교에 미군 토마호크 미사일 2발이 떨어져 어린이 최소 123명을 포함해 150명 이상이 숨졌다.
블룸버그는 미 국방부 내부 조사에 관여한 관계자들을 인용해 “오래된 정보와 촉박한 표적 선정 과정, 민간인 피해 방지 인력 축소와 함께 AI 기술에 대한 과도한 의존이 오폭으로 이어진 일련의 문고 보도했다.
당시 미 중부사령부(CENTCOM) 일부 인력은 팔란티어 테크놀로지스(Palantir Technologies)의 메이븐 스마트 시스템(Maven Smart System)이 오래된 정보나 기초 정보의 불일치를 찾아낼 것으로 기대했던 것으로 전해졌다. 메이븐은 150개가 넘는 데이터 입력을 결합해 표적 선정과 지휘·통제 등을 지원하는 AI 기반 군사 소프트웨어다.
그러나 학교 부지는 과거 이란혁명수비대(IRGC) 시설로 분류된 정보가 갱신되지 않은 상태였다. 위성사진에는 수년 전부터 학교로 전환됐음을 보여주는 변화가 있었고 학교는 자체 웹사이트와 지도 정보에도 표시돼 있었다고 블룸버그는 전했다.
팔란티어는 자사 소프트웨어가 기초 정보의 품질을 책임지는 것은 아니며 메이븐 자체가 오폭의 원인이었다는 증거도 없다는 입장을 밝혔다. 미 국방부 역시 사건에 대한 조사가 진행 중이라며 세부 내용에 대한 언급을 피했다.
美 중부사령부, AI 표적 선정 절차 수정
사건 이후 군사 AI의 문제는 사고 원인 규명을 넘어 실제 운용 절차 변경으로 이어졌다.
블룸버그는 9월 22일 “미 중부사령부가 미나브 학교 오폭 이후 전투작전에서 AI와 치명적 표적 선정(lethal targeting)을 사용하는 절차를 변경했다”고 보도했다.
블룸버그의 앞선 조사에 따르면 팔란티어도 메이븐에 기초 정보를 다시 검토해 표적에서 제외해야 할 요인을 찾고, 인간의 검토 과정에서 놓칠 수 있는 불일치와 부정확성을 표시하는 기능을 추가했다.
이 변화는 AI가 표적을 직접 공격하도록 허용할 것인지에 국한된 문제가 아닌 것으로 나타났다. AI가 정보 수집과 분석, 표적 후보 선정, 작전계획 수립 과정에 들어가면 최종 발사 결정이 인간에게 남아 있더라도 AI가 제공한 정보의 오류가 의사결정 전체에 영향을 미칠 수 있다는 문제가 제기되고 있다.
클로드는 미사일·드론·사이버 첩보 개발에 악용
위험은 군이 AI를 잘못 사용하는 경우에만 그치지 않는다. 상용 AI 모델이 실제 무기와 군사·첩보 프로그램 개발에 활용된 사례도 확인되고 있다.
AI 기업 앤트로픽(Anthropic)은 9월 10일 공개한 ‘AI 악용 탐지 및 대응: 2026년 9월’ 위협정보 보고서에서 지난해 12월부터 올해 8월까지 클로드(Claude)를 악용하려 한 사이버 작전, 감시, 생물학적 악용, 재래식 무기 개발 등의 사례를 공개했다.
앤트로픽에 따르면 중국·러시아·예멘 등과 연계된 행위자들이 클로드를 무기 소프트웨어 개발이나 정보수집 등에 이용했다. 예멘 북부의 한 조직은 유도 로켓의 비행제어 소프트웨어와 탄도미사일 시뮬레이션 개발 등에 클로드를 이용했다. 유도 로켓을 실제 시험 발사한 뒤 실패 원인을 분석하는 데 다시 클로드를 사용한 정황도 확인됐다고 회사는 밝혔다.
러시아와 관련된 것으로 추정되는 개발자들은 자폭형 FPV 드론 군집을 위한 소프트웨어를 개발하는 데 클로드와 클로드 코드를 사용했다. 다만 앤트로픽은 “이 시스템이 실제 전장에 배치됐다는 증거는 확인하지 못했다“고 밝혔다.
중국 관련 행위자가 대만의 조기경보레이더와 패트리엇·톈궁 미사일 포대, 공군기지 등을 포함한 전자전·방공망 제압 소프트웨어 개발에 클로드를 이용한 사례도 보고됐다.
로이터는 9월 10일 “앤트로픽이 클로드를 생물무기 연구와 러시아 연계 사이버 첩보 활동 등에 악용하려 한 시도를 차단했다”고 보도했다. 앤트로픽은 “관련 계정을 차단하고 탐지·안전장치를 강화했다“고 밝혔다.
이 회사가 공개한 사례에서는 AI가 단순히 정보를 답하는 도구를 넘어 악성코드 수정과 피싱, 정보수집, 무기 제어 소프트웨어 개발 과정의 일부를 자동화하는 데 사용된 것으로 나타났다. 앤트로픽은 보고서에서 일부 사이버 작전에서는 사람이 공격 대상을 설정하고 결과를 검토했지만 AI가 정찰·침투·데이터 탈취 등을 직접 실행하거나 조율했다고 설명했다.
美·中 전문가 “핵 지휘체계에는 AI 레드라인 필요”
실제 군사 AI 사고와 악용 사례가 나오면서 미국과 중국에서는 AI를 기존 군비통제의 문제로 다루려는 움직임도 나타났다.
로이터는 9월 17일 “미국과 중국의 안보 전문가들이 핵 지휘체계 주변에 AI의 ‘레드라인’을 설정하고 중대한 군사 사이버 공격은 인간이 통제하며 AI 관련 사고를 다룰 양국 간 핫라인을 마련하는 방안을 제안했다”고 보도했다.
브루킹스연구소(Brookings Institution)와 칭화대 국제안보전략센터(CISS)가 2019년부터 진행해온 미·중 AI·국가안보 대화에 참여한 전문가들의 제안이다.
이들이 우려하는 상황은 AI가 핵무기를 직접 발사하는 경우에만 국한되지 않는다. 한 국가의 자율 시스템이 상대국의 핵 지휘·통신망에 개입하거나 군사 사이버 작전을 수행하면 상대국이 그것을 기계 오류인지 정부가 승인한 공격인지 즉시 구별하기 어려울 수 있다는 것이다.
푸단대 장톈자오(Tianjiao Jiang) 부교수는 AI가 핵무기 사용을 독자적으로 결정하거나 핵 지휘체계를 자율 공격하지 못하도록 명시적인 레드라인을 설정할 것을 제안했다. 자동화된 군사 대응이 인간이 개입할 시간을 주지 않을 정도로 빠르게 확전될 가능성에 대비해 미·중 간 AI 사고 전용 핫라인도 제시했다.
다만 로이터에 따르면 미국과 중국 정부 어느 쪽도 이 제안을 공식 채택하지 않았다.
유엔도 ‘킬러 로봇’ 규제 요구…논점은 인간 통제
국제사회의 논의도 같은 방향으로 움직이고 있다. 안토니우 구테흐스(António Guterres) 유엔 사무총장은 9월 22일 유엔총회 연설에서 AI에 대한 국제적 안전장치를 마련하고 자율살상무기 확산을 막기 위한 규제를 거듭 촉구했다.
블룸버그는 9월 22일 “구테흐스 사무총장이 AI 발전 속도가 국가의 통제력을 약화시키고 자율적인 ‘킬러 로봇’의 확산으로 이어질 가능성을 경고하며 국제적 AI 협약을 촉구했다”고 보도했다.
군사 AI를 둘러싼 논쟁은 이에 따라 ‘AI가 인간보다 더 뛰어난 무기가 될 것인가’라는 성능 경쟁과 함께, AI가 만들어낸 정보와 판단을 인간이 어떻게 검증하고 어디까지 군사적 의사결정에 사용할 것인가라는 운용 문제로 확대되고 있다.
CNN은 한 취재원을 인용해 “미군에서 AI 기반 표적 선정이 빠르게 확대되고 있다“면서 “표적 선정에서 AI 활용은 분명히 증가하고 있지만, 인간이 의사결정 과정에 있다는 것만으로 민간인 피해나 아군 피해를 어떻게 막을 수 있는지에 대한 실질적인 지침은 없다(AI in targeting is definitely something that’s ramping up and there is no real guidance for how having a human in the loop will prevent civilian casualties or fratricide)”고 말했다.
Q&A
Q1. 군사 AI에서 ‘휴먼 인 더 루프(Human in the Loop)’란 무엇인가?
AI가 표적 탐지·분류나 작전 정보를 제공하더라도 최종 공격 결정은 인간이 내리는 구조를 말한다. 다만 중국 선박 사례처럼 AI가 만든 잘못된 정보가 인간에게 전달되는 단계에서 걸러지지 않으면 최종 결정권자가 인간이라는 사실만으로 오류를 막을 수 없다는 문제가 제기된다.
Q2. 메이븐은 자율살상무기인가?
그 자체를 자율살상무기로 보는 것은 정확하지 않다. 메이븐 스마트 시스템은 여러 정보와 센서 데이터를 결합해 표적 선정과 지휘·통제 등 군사 의사결정을 지원하는 AI 기반 소프트웨어다. 무기를 직접 발사하는 기능과 정보·표적 판단을 지원하는 기능은 구분할 필요가 있다.
Q3. 미·중 전문가들이 말하는 ‘핵무기식 AI 안전장치’는 무엇인가?
AI를 핵무기처럼 취급한다는 의미가 아니다. 핵 지휘·통제 시스템에 AI가 독자적으로 개입하지 못하도록 레드라인을 만들고, 중대한 군사 사이버 공격에는 인간의 통제를 유지하며, AI 사고가 발생했을 때 상대국과 즉시 소통할 수 있는 핫라인을 구축하자는 제안이다.
