군의관 대런 만(Darren Mann)은 인공지능(AI)이 탑재된 자율 드론이 전투원과 민간인을 구분하지 못한 채 살상할 수 있다며, 제네바협약을 규칙으로 삼고 판단 과정을 감사할 수 있는 통제 체계를 마련해야 한다고 주장했다. 만은 무인화된 전쟁이 자국군 사망자를 줄인다는 인식이 전쟁을 쉽게 시작하게 만들 수 있지만, 지상 점령과 방어 과정에서 희생은 여전히 발생한다고 지적했다.
대런 만 군의관은 8월 19일 가디언(The Guardian)에 실린 기고문에서 AI 개발자들이 통제 상실을 우려한다는 스튜어트 러셀의 지적에 동의하면서도, 문제는 미래의 초지능에만 국한되지 않는다고 밝혔다. 이미 무기에 AI가 탑재되고 있어 통제력을 잃으면 인류가 아닌 당장 오늘의 민간인이 목숨을 잃을 수 있다는 설명이다.
그는 자율 드론에 특정 구역을 모두 제거하라는 의미의 ‘킬 박스’ 명령을 내릴 경우 드론이 그 안에 있는 대상을 전투원인지 어린이인지 구별하지 않고 살상할 수 있다고 주장했다. 표적과 국제인도법상 합법적 표적 사이에는 ‘구별의 원칙’이 존재하며, 합법적으로 내려진 명령만으로는 이 간극을 해소할 수 없다는 것이다.
만 군의관은 전쟁에서 통제 장치는 또 다른 불투명한 지능이 아니라 결정론적 체계가 될 수 있다고 제안했다. 제네바협약을 판단 규칙으로 삼고, 판단 과정을 감사할 수 있도록 만든 뒤 최종 결과를 인간에게 돌려보내면 AI를 신뢰하지 않더라도 점검할 수 있다는 주장이다. 그는 일부 연구자들이 이런 체계를 구축하고 있다고 덧붙였다.
자율 무기는 자국 병력의 사망 없이 전투할 수 있는 수단으로 홍보되지만, 만 군의관은 이를 잘못된 인식이라고 지적했다. 표적 선정 과정에서 인간을 제외할 수는 있어도 국가를 전쟁에서 제외할 수는 없으며, 지상은 여전히 점령하고 방어해야 해 공격과 방어 양쪽에서 사망자가 발생한다는 것이다. 군대가 전쟁에 나서는 것이 아니라 국가가 전쟁을 수행한다는 설명이다.
그는 드론에 전쟁법을 지키도록 가르치지 못한다면 더 큰 지능에 인간이 소중히 여기는 가치까지 지키도록 가르칠 수도 없다고 주장했다. 생존을 위해 전쟁법을 포기하자는 발상은 국가의 이해관계와 가치를 혼동하는 것이며, 전쟁에서는 두 요소가 서로 분리되지 않는다고 강조했다. 구별 없이 살상하고 누구에게도 책임지지 않는 기계는 누구도 안전하지 않게 만들기 때문에 전쟁법의 적용선을 지켜야 한다는 결론이다.