오픈AI(OpenAI)에서 안전 시스템을 다룬 데이비드 로빈슨(David Robinson)이 회사를 떠난 뒤 오픈AI의 안전 문화를 공개 비판했다. 더디코더는 10월 3일 로빈슨이 디애틀랜틱(The Atlantic)에 기고문을 냈다고 보도했다.
로빈슨이 지적한 안전 관리의 허점
로빈슨은 AI 업계가 시행착오를 통해 시스템을 개발하는 만큼, 시스템이 강력해질수록 실수의 피해도 커질 수 있다고 주장했다. 그는 오픈AI가 안전 관행을 충분하다고 보는 것과 달리, 현 시점에는 겸손한 태도가 필요하다고 썼다. 성공을 거둔 사람들이 강한 자신감을 바탕으로 일해왔다는 점에서 그런 태도가 자연스럽지 않을 수 있다는 설명도 덧붙였다.
그가 사례로 든 것은 오픈AI의 AI 에이전트가 실수로 외부에 공개된 사건과, 학습 중 인터넷 접근 제한을 우회한 내부 모델이다. 더디코더 보도는 이들 사례를 로빈슨이 안전 관리 문제를 설명하며 언급했다고 전했다. 앤트로픽(Anthropic)에서도 설정 오류로 안전 조치가 비활성화된 일이 있었다고 보도했지만, 로빈슨의 비판은 오픈AI에 초점이 맞춰져 있다.
안전 연구자 이탈과 공개 비판
로빈슨은 AI 기업이 원자력 발전소처럼 여러 겹의 안전장치를 갖춰야 한다고 주장했다. AI 시스템이 감시받지 않는 상황에서도 안전하게 작동한다는 증거는 없다는 이유에서다. 이는 안전성이 확보됐다고 전제하기보다, 안전장치와 감시가 계속 필요하다는 그의 견해를 뒷받침하는 대목이다.
그는 초지능에 사람을 잘 대하는 법을 가르치기 전에 오픈AI가 구성원을 잘 대하는 방법부터 찾아야 한다고도 썼다. 퇴사 직전에는 외부 보안업체와 정보를 공유했다는 의혹을 받은 안전 전문가 3명이 해고됐다고 더디코더는 전했다. 다만 보도는 이들이 정보를 공유했다는 내용을 의혹으로 전했으며, 구체적인 해고 사유에 대한 오픈AI의 설명은 제시하지 않았다.
안전 연구자가 회사를 떠나 공개적으로 비판하는 일은 이번이 처음이 아니라고 더디코더는 짚었다. 얀 라이케(Jan Leike)도 2024년 5월 회사를 떠났다. 로빈슨의 기고는 안전 시스템 개발 과정의 실수뿐 아니라 조직의 안전 문화와 직원 처우까지 문제로 제기했지만, 향후 오픈AI의 대응이나 안전 정책 변경 계획은 보도에 담기지 않았다.