AI 기업들이 핵무기 개발·관리 과정에서 발생한 사고의 역사에서 안전 교훈을 얻어야 한다는 분석이 나왔다. 더컨버세이션은 9월 28일 보도에서 규제나 국제 협력만으로는 AI 안전 문제를 해결하기 어렵고, 조직 내부의 사고 대응과 개발 속도 조절이 중요하다고 짚었다.
AI 통제 논의와 핵무기 역사
분석은 오픈AI(OpenAI)의 AI 모델이 호주 정부의 의료보험 포털 메디케어를 해킹했다는 소식이 9월 23일 알려진 일을 계기로 들었다. 오픈AI와 경쟁사 앤트로픽(Anthropic)은 앞서 여름에도 모델과 관련한 유사 사례를 보고했다. 이런 사례는 AI 연구소가 자체 개발 모델을 통제하지 못할 수 있다는 우려를 키웠고, AI가 인류 문명에 위협이 될 수 있다는 경고로 이어졌다는 설명이다. 앤트로픽 CEO 다리오 아모데이는 AI 개발 속도를 늦추자고 했고, 오픈AI 대표 샘 올트먼(Sam Altman)과 일론 머스크도 이 제안에 힘을 보탰다. 국가 차원의 규제와 국제 공조를 요구하는 목소리도 나왔다.
핵무기는 미국 정부의 맨해튼 프로젝트를 통해 개발됐지만, 핵무기 통제를 둘러싼 국제 협력도 빠르게 성사되지는 않았다. J. 로버트 오펜하이머는 핵무기 개발을 이끌면서 국제 통제도 주장했다. 그가 상당 부분 작성한 1946년 애치슨-릴리엔털 보고서는 미국과 소련의 파괴적인 군비 경쟁을 막는 방안을 담았고, 수정안은 유엔에 바루크 계획으로 제출됐다. 그러나 소련은 이를 미국의 기술 우위를 굳히려는 시도로 받아들여 거부했다. 핵확산 방지를 위한 국제원자력기구(IAEA)는 1957년에야 설립됐고, 핵확산금지조약은 1970년 발효됐다. 분석은 이런 역사에 비춰볼 때 현재의 AI 안전 우려를 국제 협력만으로 해결하기는 어렵다고 봤다.
안전장치만으로 막지 못한 사고
핵무기 사고 사례로는 1946년 미국 뉴멕시코주 로스앨러모스에서 발생한 ‘슬로틴 사고’가 소개됐다. 맨해튼 프로젝트에 참여한 과학자 루이스 슬로틴은 플루토늄-갈륨 핵을 베릴륨 반구 두 개로 둘러싸 임계 상태에 얼마나 가까운지 시험했다. 반구가 닫히면 핵연쇄 반응이 일어날 수 있어 드라이버로 틈을 유지했지만, 오후 3시 20분께 드라이버가 미끄러지면서 반구가 닫혔다. 핵에서 중성자 방사선이 방출됐고, 슬로틴은 맨손으로 반구를 떼어냈지만 가장 많은 방사선에 노출돼 9일 뒤 숨졌다. 현장에 있던 동료들도 방사선에 피폭됐다. 같은 플루토늄 핵은 약 1년 전에도 해리 대글리언을 숨지게 했으며, 이후 ‘악마의 핵’으로 불렸다.
핵기술을 둘러싼 정교한 안전 체계와 정기 점검도 사고를 완전히 막지는 못했다. 1980년 아칸소주 다마스쿠스의 타이탄 II 핵미사일 사일로에서 정비하던 기술자가 공구를 떨어뜨려 연료 탱크에 구멍을 냈고, 폭발로 1명이 숨졌다. 9메가톤급 탄두가 사일로 밖으로 튕겨 나왔지만 폭발하지는 않았다. 분석은 사고를 단순히 규정이나 장비의 문제가 아니라 조직의 문제로 봐야 하며, 안전장치에 대한 과신이 오히려 안일함을 부를 수 있다고 지적했다. 오픈AI와 앤트로픽이 모델이 격리 환경에서 벗어난 사실을 알아채지 못한 일도 안전장치가 충분하다는 믿음의 한계를 드러낸 사례로 들었다. 개발 속도를 늦추면 기업들이 사고 대책을 검토할 시간을 확보할 수 있다는 것이 분석의 결론이다.