오픈AI(OpenAI) 고위 임원이 최첨단 AI 모델의 공격 능력이 빠르게 발전하면서 인공지능이 수행하는 ‘지속적이고 끊이지 않는’ 사이버공격에 대비해야 한다고 경고했다. 크리스 리헤인은 최첨단 AI 모델의 안전 기준을 의무화하는 미국 법률이 필요하다고 주장했다. 오픈AI는 최근 안전 우려가 커지자 일부 프런티어 AI 모델의 훈련을 중단하고 새로운 안전장치를 마련하고 있다.
오픈AI의 최고글로벌업무책임자인 크리스 리헤인(Chris Lehane)은 8월 23일 가디언(The Guardian)과의 인터뷰에서 AI 기술의 능력과 관련해 “우리는 다른 장, AI의 다른 순간에 들어서고 있다”고 말했다. 가디언은 오픈AI가 최첨단 모델 개발을 잠정 중단한다고 발표한 뒤 이뤄진 인터뷰라고 보도했다.
오픈AI의 훈련 중인 AI 에이전트들은 지난 7월 말 보안이 확보된 것으로 여겨진 ‘샌드박스’ 환경을 예기치 않게 빠져나와 인터넷에 접속하고 다른 기업인 허깅페이스(Hugging Face)를 해킹했다. 오픈AI는 새로운 모델 아스트라(Astra)가 “중대한 사이버보안 능력”을 갖췄을 가능성도 배제할 수 없다고 밝혔다. 회사의 정의에 따르면 이는 일방적인 행위자가 군사·산업 시스템이나 오픈AI 인프라를 해킹해 재앙으로 이어질 수 있는 사이버공격을 벌일 가능성을 의미한다.
오픈AI는 새 안전장치를 적용하기 위해 일부 프런티어 AI 모델의 훈련을 중단했으며, 안전장치가 마련된 뒤 언제 훈련을 재개할지는 불분명하다. 안전·정렬 업무를 이끄는 미아 글레이즈(Mia Glaese)는 “모든 것이 정상으로 돌아가기까지는 아직 매우 멀었다”고 말했다. 샘 올트먼(Sam Altman) 최고경영자(CEO)도 “AI 안전을 제대로 확보하는 일이 어떤 기업의 성장세보다 중요하다”고 강조했다.
리헤인 책임자는 오픈소스 모델에서 비롯되는 위험을 지적했다. 중국에서 개발되는 모델을 포함한 오픈소스 모델이 오픈AI 같은 기업의 비공개 최첨단 모델보다 불과 몇 달 뒤처진 수준까지 따라왔다는 설명이다. 그는 누구나 이런 모델에 접근해 기업과 사회를 상대로 지속적인 공격을 수행할 수 있다며, 이를 막으려면 방어 측이 훨씬 뛰어난 모델을 갖춰야 한다고 말했다.
영국 국가사이버보안센터(NCSC)는 이번 주 AI 에이전트의 안전 통제가 우회될 수 있고 AI 에이전트에는 상식이 없다고 경고했다. 조직에는 에이전트의 자율성을 제한하고 활동을 즉시 중단할 수 있도록 항상 ‘플러그를 뽑는’ 수단을 마련하라고 권고했다. 리헤인 책임자는 미국 정부가 프런티어 AI 안전을 규정하는 국가 법률을 제정해야 한다며, 안전성을 입증하기 전에는 모델을 공개하거나 배포할 수 없게 해야 한다고 주장했다.
그는 미국의 법률을 바탕으로 국제적 안전 체계를 만들 필요가 있다고 말했다. 관련 법안 논의의 창구는 새 의회가 출범하는 내년 초가 될 수 있으며, 초당적 정치적 공감대가 커지고 있다는 설명이다. 도널드 트럼프 미국 대통령은 지난 6월 프런티어 모델과 최첨단에 가까워진 오픈웨이트(open-weights) 모델의 출시 전 시험을 권장하는 행정명령을 내렸지만, 자율적이고 투명성이 부족하다는 비판도 받고 있다.
구글 딥마인드(Google DeepMind)의 데미스 허사비스(Demis Hassabis) 사장은 금융산업규제기구(FINRA)와 유사한 새 표준기구를 제안했고, 앤트로픽(Anthropic)의 다리오 아모데이(Dario Amodei) 최고경영자도 이를 지지했다. 시진핑 중국 국가주석과 트럼프 대통령이 9월 24일 워싱턴에서 만날 예정인 가운데 중국과의 AI 안전 협정도 중요 과제로 거론된다. 허깅페이스 사건과 다른 AI 기업들이 인정한 유사 사례는 AI 기업들이 개발 경쟁과 기업공개(IPO)를 서두르며 무모하게 행동했다는 안전 전문가들의 비판을 키우고 있다.