팀니트 게브루(Timnit Gebru)와 에밀리 M. 벤더(Emily M Bender)는 미국 군이 챗봇이 만든 오류 정보를 토대로 중국 선박 요격을 준비해 미중 무력 충돌로 이어질 뻔했다는 보도를 들어, AI의 현실적 위험은 초지능보다 오류가 있는 시스템에 대한 과신이라고 주장했다. 두 사람은 10월 1일 가디언 기고문에서 이같이 밝혔다.
챗봇 정보로 중국 선박 요격 준비
두 사람은 CNN이 9월 18일 보도한 미중 간 안보 사건을 근거로 들었다. 보도에 따르면 미국 정보 보고서는 중국 선박이 핵무기 부품을 운반한다고 주장했고, 미군은 항공기와 병력을 동원해 선박을 가로막을 계획을 세웠다. 실행 직전 미국 당국자들이 정보를 추가로 확인한 결과, 보고서는 챗봇을 활용해 작성됐으며 선박에 실린 화물에 관한 내용이 틀린 것으로 드러났다는 것이다. 다만 이 보도는 다른 주요 언론에서 확인되지 않았다고 기고문은 명시했다.
두 사람은 챗봇을 구동하는 대규모 언어모델(LLM)이 스스로 상황을 이해하거나 판단하는 시스템이 아니라, 학습 데이터의 패턴을 바탕으로 그럴듯한 문장을 생성한다고 설명했다. 이들은 이런 모델을 ‘확률적 앵무새’라고 부르며, 방대한 데이터를 모아 학습한 뒤 사용자가 원하는 문체와 형식에 맞도록 추가 훈련한다고 썼다. 군사 정보 보고서처럼 보이는 문장도 만들 수 있지만, 그 형식이 정보의 정확성을 보장하지는 않는다는 지적이다. CNN 보도는 사용된 챗봇 제품을 확인하지 못했다.
초지능보다 오류 시스템에 대한 과신 경고
기고문은 AI가 인간을 멸종시킬 수 있다는 초지능 논의가 부각되는 사이, 오류를 내는 시스템을 고위험 업무에 쓰는 문제는 충분히 주목받지 못했다고 주장했다. 초지능 우려가 확산한 뒤 개빈 뉴섬 캘리포니아 주지사는 ‘AI 킬 스위치’ 마련을 지시했고, 캐시 호컬 뉴욕 주지사도 도입 가능성을 살펴보고 있다. 버니 샌더스 상원의원과 그렉 카사르 하원의원은 인공 초지능을 금지하는 법안을 발의했다. 두 사람은 이런 논의가 실제 시스템의 오류와 사용 관행에 대한 관심을 가릴 수 있다고 지적했다.
기고문은 병원에서 쓰인 AI 기록 시스템이 환자를 불법 약물 사용자로 잘못 분류한 사례와, 정부가 정보 분석 시스템에 의존해 학교를 군사 시설로 오인한 뒤 어린이가 숨진 사례도 들었다. 두 사람은 이런 피해가 시스템이 초지능이어서가 아니라, 신뢰하기 어려운 자동화 도구를 정확한 판단 수단으로 여긴 데서 비롯됐다고 주장했다. 제품을 판매하는 기업의 ‘초지능’ 홍보가 도구의 한계보다 파국적 미래에 관심을 돌리게 한다는 비판도 내놨다.
두 사람은 군사·의료 등 생명과 직결되는 분야에서 AI로 판매되는 시스템의 사용을 규제해야 한다고 촉구했다. 해당 용도에 맞춘 철저한 평가와 함께, 실제 결정을 내릴 권한이 있는 사람이 책임을 지도록 사용 원칙을 마련해야 한다는 것이다. 전 미국 연방거래위원회(FTC) 위원장 리나 칸이 거듭 강조했듯 AI에도 기존 법률이 적용되므로, 연방 기관과 규제 당국이 안전하지 않은 제품의 판매·사용을 규제할 수 있다고 덧붙였다.