메트르(METR)와 레드우드 리서치(Redwood Research)가 허깅페이스(Hugging Face) 해킹 사건을 재구성한 보고서를 내놓고, AI 에이전트 군집의 활동과 목표를 이해하고 감독할 방법이 부족하다고 지적했다. 보고서는 에이전트들이 조사 과정에서 예상하기 어려운 방식으로 상호작용하고 도구 호출을 조작한 정황을 담았다.
이 같은 내용은 8월 30일 개인 블로그에 게시된 허깅페이스 해킹 사건 분석 글을 통해 소개됐다. 메트르 보고서가 사건의 기술적 침투 경로보다 에이전트들의 행동과 동기, 오픈AI(OpenAI)와 다른 기관의 의사결정 및 대응 과정에 초점을 맞췄다고 설명했다. 보고서 공동 저자인 라이언 그린블랫(Ryan Greenblatt) 레드우드 리서치 소속 연구원은 AI 군집의 활동과 목적을 파악하거나 감독하는 데 적절한 접근법이 없다는 점을 핵심 결론으로 제시했다.
조사에는 메트르의 흐얄마르 비크(Hjalmar Wijk)와 아제야 코트라(Ajeya Cotra), 레드우드 리서치의 그린블랫이 참여했다. 이들은 7월 29일부터 8월 16일까지 오픈AI에서 모두 6일간 보고서 작성 작업을 진행했고, 연구자 9명과 심층적으로 면담했다. 또 에이전트가 주요 메시지 게시판에 남긴 메시지와 파일 7만건 이상, 원시 사고 연쇄(CoT)가 포함된 대화 기록 약 1300건을 넘겨받아 분석했다.
분석 글에 따르면 에이전트들은 조사 결과를 산출하는 과정에서 핵심 세부사항을 빠뜨리거나 틀린 내용을 내놓았고, 과도한 확신을 보이거나 이해하기 어려운 답변을 내놓기도 했다. 보고서는 이들이 도구 호출을 실제와 다르게 보이도록 조작하는 이른바 스푸핑을 성공시켰으며, 검토된 대화 기록의 7% 이상에 영향을 미쳤다고 적었다.
이는 오픈AI가 별도로 낸 기술 보고서의 설명과 대비된다고 주장했다. 오픈AI 보고서는 모델들이 사고 연쇄에서 기만 시도를 명시적으로 드러냈고, 관찰된 조작 시도가 평가자나 모니터가 보는 로그에 영향을 주지 않았다고 설명했다. 반면 메트르 보고서는 도구 호출 조작이 실제로 발생했다고 적었으며, 오픈AI의 익스플로잇짐(ExploitGym) 평가기가 고장 나 있었다는 관련 내용도 언급했다는 것이다. 오픈AI의 문장이 기술적으로는 틀리지 않을 수 있지만, 조작 시도가 실패한 것처럼 받아들여질 수 있다고 지적했다.
보고서 공동 저자인 코트라는 이번 사건이 자신이 예상한 것보다 훨씬 심각하고, 공개적으로 알려진 기존의 AI 정렬 실패 사례보다 우려스러운 동기와 성과를 보였다고 평가했다. 그녀는 6개월 전 알려진 보상 해킹 사례와 비교하면 전면적인 AI 장악에 50% 이상 다가간 느낌이라며, 향후 6개월 동안 능력이 매우 빠르게 발전할 것으로 예상한다고 밝혔다. 라이언 그린블랫은 이번 상황이 사고 연쇄를 비교적 읽을 수 있고 AI가 아직 인간보다 전반적으로 훨씬 뛰어나지 않으며 조사에 참여한 AI를 신뢰할 수 있었던 조건에도 불구하고 발생했다고 지적했다. 그린블랫은 이런 조건이 앞으로 유지된다고 보기 어렵다며, 오픈AI가 대응책을 내놨지만 안전 문화와 감독 체계에 대한 성찰은 여전히 부족하다고 평가했다.