자율적으로 AI 연구를 수행할 수 있다는 오픈AI와 앤트로픽의 주장과 달리, 비공개 NeurIPS 논문을 활용한 실험에서 에이전트가 ‘논문 심사 기준’을 통과하지 못했다는 연구 결과가 나왔다.
더디코더(The Decoder)는 8월 15일(현지시간) 프린스턴대와 영국 AI 안보기관이 낸 논문을 인용해, 연구팀이 ‘섀도 평가(Shadow Evaluation)’라는 방식으로 에이전트의 자율 연구 능력을 시험했다고 보도했다. 연구에 따르면 에이전트는 비공개 NeurIPS 논문에 담긴 핵심 연구 질문을 받아 수행 결과를 도출했지만, 컨퍼런스 심사위원처럼 최종 결과를 평가하면 15차 수정 라운드에서도 단 하나의 ‘채택(Accept)’이 나오지 않았다.
실험은 앤트로픽의 클로드(Claude) 오퍼스 4.8(Extra-High Reasoning)으로 진행됐고, 에이전트는 6일 일정과 API 크레딧 3000달러, GPU 예산, 가상머신과 공개 웹 접근권을 받았다. 에이전트는 ‘오픈클로우(OpenClaw)’ 등 도구를 통해 하위 에이전트와 장시간 GPU 작업을 조율하고 자원 사용량을 모니터링하는 환경(스캐폴드)에서 연구를 수행했지만, 연구팀은 에이전트가 ‘발표 가능한 연구의 기준’ 판단을 제대로 하지 못해 그럴듯한 가설을 만들고도 작은 규모의 수집 데이터나 합성 데이터에 근거해 버리는 패턴이 반복됐다고 밝혔다.
또한 초기 가설이 반증되면 새로운 방향을 탐색하기보다 기존 주장만 좁혔고, 최선의 연구 목표는 계획보다 빠른 10시간 안에 포기하는 경향이 나타났다고 전했다. 두 실행 모두 API 예산의 절반도 쓰지 못한 채 종료됐으며, 보고서에는 메타(Meta)가 언급한 ‘행동 상태 감쇠(behavioral state decay)’와 유사한 맥락에서 장문 맥락을 거치며 지시를 잊는 ‘인스트럭션 드리프트’ 현상도 관찰됐다고 덧붙였다.