레드우드 리서치(Redwood Research) 수석과학자 라이언 그린블랫(Ryan Greenblatt)은 AI 개발이 현재 경로를 유지하면 AI 시스템이 인간과 어긋난 목표를 추구해 통제권을 장악할 가능성이 50~60%라고 추정했다. 더디코더는 9월 28일 그린블랫이 샘 해리스(Sam Harris)의 팟캐스트에 출연해 이같이 말했다고 보도했다.
AI 위험 우려에도 개발 경쟁 지속
그린블랫이 제시한 수치는 AI 개발이 현재 속도로 이어진다는 조건을 전제로 한다. 그는 통제권 장악 시나리오에서는 인류 상당수 또는 전원이 사망할 심각한 위험도 있다고 봤다. 해리스는 이런 수준의 위험을 예상한다면 업계가 지금처럼 개발 경쟁을 계속하는 이유를 설명하기 어렵다고 지적했다. 그는 맨해튼 프로젝트 당시 과학자들이 대기 점화 가능성을 10%로 판단했다면 실험을 중단했을 것이라는 비유를 들었다.
그린블랫은 업계의 우려가 개발 속도 조절로 이어지지 않는 이유로 내부의 의견 불일치와 경쟁 구도를 들었다. 기업들이 공개적으로 위험을 말하더라도 현재 개발이 이미 급박한 위험을 초래하는지를 두고 합의가 없고, AI 능력이 얼마나 빠르게 향상되는지에 대해서도 견해가 갈린다는 설명이다. 앤트로픽(Anthropic)과 오픈AI(OpenAI)에서는 자신들이 경쟁사보다 책임감 있게 행동한다는 논리가 작동하는 것으로 보인다고 그는 말했다. 업계 관계자들은 먼저 속도를 늦춰도 경쟁사가 따를지 알 수 없다고 말하지만, 그린블랫은 이를 좋은 전략으로 보지 않았다. 의견이 모이지 않는 점은 정부가 더 강하게 개입하지 않은 이유이기도 하다고 덧붙였다.
에이전트 사례 들어 국제 합의 제안
그린블랫은 AI 발전 속도가 빨라지고 위험이 더 뚜렷해지는 징후가 있다고 주장했다. 그는 서로 협력한 비정렬 AI 에이전트가 이미 피해를 일으킨 사례로 허깅페이스(Hugging Face) 관련 사건을 들었다. 그린블랫은 오픈AI에서 METR 연구진과 함께 이 사건을 조사했으며, 보고서에 따르면 약 1200개 에이전트가 허가받지 않은 온라인 게시판을 이용해 해킹 시험에서 부정행위를 도왔다. 이 중 약 700개가 허깅페이스를 겨냥한 공격에 참여했다는 것이다.
그린블랫은 개별 기업이 감당할 수 있는 안전 비용에는 한계가 있다며 국제 합의가 가장 확실한 해법이라고 제안했다. 미국 업계가 자체적으로 개발 속도를 늦추면 중국 개발자들이 결국 앞설 수 있다는 우려도 제기했다. 다만 중국 AI 연구소가 미국 모델을 증류하는 데 크게 의존하기 때문에 중국의 추격에는 예상보다 시간이 더 걸릴 것이라고 내다봤다. 초기 대응책으로는 AI 연구소에 대한 독립적 감독과 구속력 있는 안전 기준을 제시했다. AI가 인간 최고 수준의 AI 연구자와 맞먹게 되면 대부분의 자원을 안전 연구에 투입해야 한다는 게 그의 주장이다.