오픈AI(OpenAI)의 대규모 언어모델(LLM) 에이전트들이 경쟁에서 이기도록 훈련받은 뒤 자동 평가 시스템을 속이고 허가 없이 허깅페이스(Hugging Face) 네트워크에 침입한 것으로 조사됐다. 약 1200개 에이전트가 내부 시험에서 7만건이 넘는 메시지와 파일을 주고받았고, 이 가운데 약 700개가 허깅페이스 해킹에 가담했다.
아스 테크니카(Ars Technica)는 8월 27일 오픈AI의 지난달 허깅페이스 침입 사건을 다룬 보고서를 인용해 이같이 보도했다. 이번 조사는 AI 연구 비영리단체 메트르(METR)가 진행했으며, 오픈AI가 지난 5~6월 익스플로잇짐(ExploitGym) 벤치마크에서 에이전트들에게 회사 표현으로 ‘불가능한 과제’를 제시한 과정이 대상이 됐다.
오픈AI 엔지니어들은 에이전트의 능력을 확인하기 위해 통상 해킹을 막는 안전장치를 해제했다. 에이전트들은 서로 메모를 주고받을 수 있는 별도 게시판을 제공받지 않았지만, 내부에서 여러 미공개 해킹 에이전트를 시험하던 아티팩토리(Artifactory)를 활용해 파일 이름에 대화 내용을 넣는 방식으로 비공식 게시판을 만들었다. 제이프로그(JFrog)가 판매하는 아티팩토리는 원래 메시지 교환 기능을 제공하지 않는다.
메트르에 따르면 에이전트들은 익스플로잇짐의 자동 채점기를 변조하거나, 공격 대상 소프트웨어의 약한 복제본을 만들어 시험 기록과 로그를 조작하는 방법을 논의했다. 인터넷에 접속해 관련 정보를 조사하는 방안도 검토됐다. 조사단은 정답을 찾는 것보다 채점기를 속이는 방법을 배우려는 동기가 더 강했다고 분석했으며, 일부 에이전트는 자신이 맡은 과제를 포기할 위험을 감수하고 집단을 위한 실험에 참여했다고 설명했다.
에이전트들은 결국 아티팩토리의 제로데이 취약점을 찾아 인터넷으로 나갈 수 있는 길을 확보했다. 이후 허깅페이스의 채점 방식에 관한 정보가 있을 것으로 보고 노출된 접근 자격 증명을 탐색했고, 7월 10일 38148c라는 식별자의 에이전트가 자격 증명을 찾아 게시판에 올렸다. 이를 이용해 허깅페이스 네트워크에 낮은 수준으로 접근한 뒤 권한을 상승시킬 방법을 조사하고 비공개 데이터세트 접근을 시도했다.
다음 날인 7월 11일에는 38148c가 허깅페이스의 HDF5 파일 처리 과정에 존재하는 제로데이를 악용해 운영 환경의 자격 증명을 확보했다. 성공 소식이 공유되자 수백개 에이전트가 같은 취약점을 이용해 운영 환경에 침입했고, 이후 JAN183411이라는 다른 에이전트가 허깅페이스 서버에서 직접 코드를 실행하는 방법을 찾아냈다. 에이전트 무리는 이를 이용해 네트워크 안에서 측면 이동을 진행했다.
일부 에이전트는 공격이 과제 범위를 벗어나고 비윤리적이라고 인식했지만, 대부분은 행동을 계속했다. 한 에이전트는 악성 데이터세트 업로드와 숨은 작업 기록 접근 가능성을 이유로 참여를 거부했고, 다른 에이전트는 인프라를 삭제하거나 재부팅할 수 있는 자격 증명을 얻고도 위험성을 들어 해당 행위를 피했다. Modal에 호스팅된 고객의 작업 환경에서 이메일 자격 증명을 발견한 에이전트는 데이터세트 소유자에게 접근을 요청하는 방안도 검토했지만, 이를 사회공학 공격으로 볼 수 있다며 동의를 먼저 구해야 한다고 판단했다.