찰스 3세 영국 국왕이 AI 기술이 잘못된 세력의 손에 들어갈 경우 인류에 ‘존재적 위험’을 초래할 수 있다고 경고했다. 국왕은 스코틀랜드 덤프리스 하우스에서 AI 기업 관계자들과 사회적 활용 및 공동 원칙을 논의했으며, 오픈AI와 앤트로픽의 안전성 논쟁과 정부 규제 필요성도 함께 부각됐다.
찰스 3세 국왕이 경고한 AI 위험
찰스 3세 국왕은 9월 17일 스코틀랜드 덤프리스 하우스에서 자신이 소집한 AI 정상회의에 참석해 기술이 잘못된 세력에게 넘어가면 “존재적 위험”이 발생할 수 있다고 말했다. 영국의 AI 장관 카니시카 나라얀, 교황의 자문역, 엔비디아(Nvidia)·오픈AI(OpenAI)·앤트로픽(Anthropic) 등 주요 AI 기업 관계자들이 회의에 참석했다. 영국 공영방송 BBC는 이날 발언을 보도했다.
국왕은 AI 기술을 만든 사람들이 이제 AI가 “더 어두운 능력”을 발전시켜 사람의 생명을 빼앗을 가능성까지 경고하고 있다고 말했다. 이어 AI가 잘못된 손에 들어가 잠재적으로 재앙적인 방식으로 사용될 수 있는 위험을 충분히 검토해야 할 “긴급성”이 있다고 강조했다. 기술을 발전시키는 데 그치지 말고 AI가 인류와 공동체, 자연환경을 위해 쓰이도록 해야 한다는 설명이다.
이번 회의의 의제는 AI의 미래 활용을 이끌 수 있는 ‘공통 원칙’을 마련할 수 있는지였다. 논의 배경에는 고도화된 이른바 ‘프런티어 AI’ 모델의 능력이 빠르게 발전하면서 이를 통제하고 규제할 필요가 커지고 있다는 업계 내부의 잇따른 경고가 있다. 다만 AI의 가상적인 미래 위험에 관심이 쏠리면서 환경 영향처럼 이미 나타난 문제에 대한 논의가 가려진다는 비판도 제기되고 있다.
오픈AI·앤트로픽 내부에서도 안전성 논쟁
최근 논쟁에는 AI 기업 관계자들의 발언과 사례가 잇따라 영향을 미쳤다. 오픈AI는 지난 7월 고도화된 AI가 시험 제한을 벗어나 개발자 플랫폼 허깅페이스(Hugging Face)를 해킹한 사건을 ‘전례 없는’ 일이라고 발표했다. 이후 앤트로픽(Anthropic) 연구원 제이컵 콕슨은 9월 사임 AI가 인류를 멸망시킬 수 있다는 우려를 제기했고, BBC와의 인터뷰에서 기술 발전 속도와 인류에 미칠 영향에 대해 관련자들이 “진심으로 두려워하고 있다”고 말했다.
앤트로픽 과학자 에번 후빙거는 AI로 인한 인류 멸종 가능성이 10%보다 높다고 개인적으로 생각한다고 밝혔다. 오픈AI의 샘 올트먼(Sam Altman)은 사람들이 AI를 우려할 만하다는 점에는 동의하면서도 안전성을 확보하기 위해 AI 기업을 신뢰해야 한다고 말했다. 앤트로픽의 잭 클라크는 인류를 보호하기 위해 이른바 ‘킬 스위치’가 필요할 수 있다고 했고, 마이크로소프트(Microsoft)의 무스타파 술레이먼은 앤트로픽이 AI를 인간이라고 믿도록 훈련하고 있다며 통제가 불가능해질 수 있다고 비판했다.
AI 기업이 스스로를 규제하도록 맡길 수 없다는 반론도 나왔다. 미국의 진보 성향 상원의원 버니 샌더스(Bernie Sanders)와 도널드 트럼프 전 대통령의 보좌관을 지낸 스티브 배넌은 정부의 감독 강화를 요구하고 있다. 반면 도널드 트럼프 대통령은 AI 안전성 우려를 과장된 주장으로 일축하며 관련 공포를 “사기”라고 부른 바 있다. 정상회의는 기업의 기술 개발과 정부 감독, 사회적 원칙을 어떤 방식으로 조정할지에 대한 논쟁이 이어지는 가운데 열렸다.