노벨상 수상자 제프리 힌턴(Geoffrey Hinton)과 컴퓨터과학자 요슈아 벤지오(Yoshua Bengio)가 AI 연구개발 자동화로 ‘지능 폭발’이 일어날 가능성에 대비해 각국 정부가 신속히 대응해야 한다고 촉구했다. 가디언은 9월 29일 두 사람이 참여한 보고서 내용을 보도했다.
AI가 AI 연구개발을 자동화할 가능성
‘AI 연구개발 자동화가 지능 폭발을 촉발한다면’이라는 제목의 보고서에는 힌턴과 벤지오를 포함해 20명 넘는 연구자와 업계 관계자가 참여했다. 앤트로픽(Anthropic) 공동창업자 잭 클라크(Jack Clark), 오픈AI(OpenAI) 수석과학자 야쿠프 파초키(Jakub Pachocki)도 공동 저자다. 보고서는 지능 폭발을 AI가 AI 발전을 가속해 수년이 걸릴 진전을 몇 달 또는 그보다 짧은 기간에 이뤄내는 상황으로 설명했다.
저자들이 주목한 경로는 인간의 개입 없이 AI가 스스로 성능을 개선하는 ‘재귀적 자기 개선’이다. 보고서는 이를 넓은 의미의 자동화된 AI 연구개발로 다루며, AI가 관련 연구개발에서 전문가 수준에 이르면 개발자 한 명이 최고 수준의 인간 연구자 ‘수백만명’에 해당하는 작업량을 운용할 수 있다고 내다봤다. AI가 이미 자사 기술 개선에 기여하고 있으며, 개선된 시스템은 개발 뒤 빠르게 배포될 수 있다는 점에서 연구개발 자동화가 지능 폭발의 유력한 원인이라는 설명이다.
정부에 투명성·속도 제한·대응계획 권고
보고서는 소프트웨어 중심의 지능 폭발이 가능하다는 초기 증거가 있다고 밝혔다. 앤트로픽은 현재 AI가 자사 코드의 80%를 작성한다고 설명했고, 오픈AI는 새 모델 훈련 등에서 자율형 AI 에이전트를 활용하고 있다. 다만 자동화로 얻는 생산성 향상이 지능 폭발을 촉발할 수준에 도달한 것은 아니며, 새 시스템의 성과가 그 기준에 가까워지고 있을 가능성이 있다고 저자들은 평가했다.
기술 발전이 빠르면 생물학·사이버 위협이 대응책보다 먼저 고도화되고, 인간의 AI 연구개발 참여가 줄어 통제 기회를 잃을 수 있다고 보고서는 경고했다. 국가가 사이버 공간 등에서 가진 작은 우위를 결정적 우위로 바꾸는 데 지능 폭발을 이용할 위험도 제시했다. 반면 의료 분야의 돌파구와 기술 진전이 생길 수 있고, 위험을 줄이는 기술도 함께 빨라질 수 있다고 덧붙였다. 실제 파급 효과는 불확실하며, 관련 공급망 구축이나 규제 준수 때문에 기술적 돌파구의 적용이 늦어질 가능성도 언급했다.
정책 권고에는 AI 연구개발 진척 상황을 투명하게 보고하도록 하고 기업에 독립 감사인을 두는 방안, AI의 개선 속도를 제한하는 방안이 포함됐다. 데이터센터와 협력해 특정 연구개발을 멈출 수 있게 하고, 자동화된 연구 시스템을 격리해 인간 통제를 벗어나지 않도록 하며, 여러 상황을 가정한 비상 대응 계획을 마련하라고도 제안했다. 저자들은 인간이 수개월 걸릴 연구개발 과제가 2028년에는 AI로 완전히 자동화될 수 있다고 전망하며, 지능 폭발이 시작되면 대응할 시간이 사라질 수 있다고 강조했다.