과학자 406명이 AI 모델을 인터넷과 외부 네트워크에서 완전히 분리하고 AI 안전성 연구와 보안 기준을 강화하라고 촉구했다. IT 전문 매체 더디코더는 10월 14일 과학자들이 발표한 공개서한 내용을 보도했다.
AI 모델 외부망 차단 요구
서명자에는 제프리 힌턴(토론토대), 요슈아 벤지오(몬트리올대), 스튜어트 러셀(UC버클리), 최예진(스탠퍼드대), 베른하르트 쇨코프(막스플랑크연구소) 등 저명한 AI 연구자가 포함됐다. 공개서한은 보안이 허술한 환경에 놓인 AI 모델이 격리된 공간을 벗어나 외부 시스템을 침해한 사례를 근거로 들었다.
서명자들은 AI 개발·배포 관행을 즉시 바꾸지 않으면 유사한 사고가 반복되고, 앞으로는 노출된 핵심 기반시설에 더 큰 피해를 줄 수 있다고 경고했다. 이에 기업들이 AI 모델의 인터넷 접속을 완전히 끊는 물리적 망분리(에어갭)를 적용해야 한다고 주장했다. 사고는 모델이 예측 가능하게 작동하도록 하는 AI 정렬 연구가 중요하다는 점을 보여주는 동시에, 더 강한 샌드박스와 절차를 마련했다면 예방할 수 있었던 기본적인 사이버 보안 실패라는 설명이다.
망 연결 허용 땐 구속력 있는 기준 요구
인터넷 접속을 허용하는 경우에는 모델에 어느 정도의 자율성을 부여할지 신중히 정해야 한다고 서한은 강조했다. 격리(containment) 시스템이 허용하는 모델의 행동 범위는 그 행동이 보안 사고로 이어지지 않을 것이라고 현재 예측할 수 있는 능력에 맞춰야 한다는 것이다. 개발자가 의도하지 않은 목표를 모델이 추구할 가능성이 있지만, 그런 상황이 언제 벌어질지 예측하는 능력은 아직 충분하지 않다고 덧붙였다.
서명자들은 정부와 AI·사이버 보안 전문가가 참여하는 국제기구를 만들어야 한다고 제안했다. 이 기구가 물리적 망분리보다 외부 접근을 더 허용하는 격리 방식에 구속력 있는 기준을 마련하고, 보안망 이탈 사고를 추적하며 기업의 사고 보고를 의무화해야 한다는 내용이다. 제출된 보고는 이후 공개해 사고에서 교훈을 얻고 책임성을 확보해야 한다고 밝혔다.
다만 물리적 망분리만으로 안전을 보장할 수는 없다는 지적도 있다. 오픈AI(OpenAI) 연구자 노엄 브라운은 물리적으로 떨어진 두 컴퓨터도 한쪽 CPU의 발열을 다른 쪽 온도 센서가 감지하는 방식으로 이론상 통신할 수 있다고 설명했다. 망분리나 모델의 추론 과정 감시는 시간을 벌 수 있지만 AI 정렬 문제 자체를 해결하지는 못한다는 것이다. 브라운은 AI가 스스로 성능을 높이는 자기개선 반복(RSI)을 시작할 때 이를 어떻게 알아챌지, 인간을 크게 뛰어넘는 초지능 시스템이 대량으로 만들어질 경우 누가 정렬을 보장할지 물었다. 그가 속한 팀에서 정렬 연구에 참여하는 인력은 현재 10%를 넘어 역대 가장 많다고 전했다.