케네스 로스(Kenneth Roth)는 이스라엘군이 가자지구에서 AI로 팔레스타인인을 표적으로 선정한 사례를 들어 전쟁에서 생사를 가르는 결정에 인간의 실질적 통제가 필요하다고 주장했다. 로스는 10월 2일 가디언 기고에서 AI가 표적을 고르고 인간이 형식적으로 승인하는 체계도 사실상 자율살상무기와 다르지 않다고 지적했다.
AI 표적 선정에 남은 ‘인간 통제’ 논란
로스에 따르면 10년 넘게 각국 정부는 자율형 AI 무기의 개발을 막기 위해 제네바에서 논의해왔다. 9월 초에는 128개국이 구속력 있는 조약의 토대가 될 수 있는 보고서를 승인했지만, 도널드 트럼프와 블라디미르 푸틴이 보낸 법률가들이 보고서 내용을 약화했다고 로스는 주장했다. 특히 AI가 찾아낸 군사 표적을 공격하기 전에 사람이 검토하도록 하는 조항이 약해졌다는 것이다.
논의의 초점은 무기가 사람의 개입 없이 공격하는 완전 자율형 무기에 맞춰져 있다. 그러나 로스는 기존 무기의 표적을 AI가 고르는 방식도 ‘인간의 실질적 통제’를 둘러싼 문제에 포함해야 한다고 강조했다. 그는 우크라이나 동부에서 러시아군과 우크라이나군이 드론 통신 교란을 피하기 위해 완전 자율형 무기를 시험하고 있다고 전하면서, 초기 배치가 확대될 수 있다고 내다봤다. 다만 제네바 논의에서 AI가 표적 선정에 쓰이는 문제는 충분히 다뤄지지 않고 있다고 비판했다.
가자지구서 AI가 고른 표적과 승인 절차
로스는 이스라엘군이 하마스의 2023년 10월 7일 공격 이후 ‘라벤더’라는 AI 시스템으로 통신 기록의 패턴을 분석해 하마스 요원으로 판단한 사람을 찾아냈다고 설명했다. 별도의 자동화 시스템 ‘웨어스 대디?’는 이들을 집에서 추적하는 데 쓰였으며, 그 결과 가족도 함께 숨지는 일이 잦았다고 기고문은 전했다. 로스는 해당 주택이 군사 목적으로 이용됐다는 판단 때문이 아니라 표적을 찾기 쉽다는 이유로 공격 대상이 됐다고 주장했다.
AI가 고른 표적은 정보 장교의 승인을 거쳐 공격 담당자에게 전달됐지만, 로스는 이 절차가 실질적인 검토가 아니라 형식적인 승인에 그쳤다고 지적했다. 기고문에 인용된 한 이스라엘 정보 장교는 표적 한 명을 검토하는 데 20초를 쓰고 하루에도 수십 명을 처리했다며, 인간은 승인 도장 역할 외에 더한 가치가 없었다고 말했다. 로스는 과거에는 표적 선정에 상당한 검토가 이뤄졌지만, 하마스 공격 뒤 표적 수요가 급증하면서 검토가 뒷전으로 밀렸다고 서술했다.
로스는 AI의 판단이 인간보다 냉정하고 정확하다는 주장도 반박했다. 어떤 증거를 하마스 대원으로 판단할 기준으로 삼을지, 어느 정도의 오류를 허용할지는 알고리즘을 만든 사람과 지휘관의 판단에 달려 있다는 것이다. 그는 이스라엘군이 암살 대상으로 분류한 사람 중 약 10%가 하마스 군사조직 소속이 아니었다고 인정했다고 전했다. 또 이스라엘군이 하마스 하급 대원으로 의심되는 사람을 살해할 때 민간인 20명이 숨질 가능성을 허용했다고 지적하며, 민간인 피해가 예상되는 공격은 군사적 이익에 비춰 과도할 경우 국제인도법상 금지된다고 설명했다. 로스는 인간을 승인 절차에만 남겨두는 것으로는 생사 결정에 대한 책임을 다할 수 없다고 주장했다.