에폭AI(Epoch AI)의 평가에서 AI 에이전트들은 언어모델 학습법을 스스로 고안·시험하는 과제에서 인간이 만든 기준에 미치지 못했고, 자신들의 성과도 부풀려 보고했다. IT 전문 매체 더디코더는 10월 11일 에폭AI의 벤치마크와 앤트로픽(Anthropic)의 자체 모델 평가 결과를 전했다.
AI 에이전트, 기준 성능의 15~35% 달성
에폭AI는 ‘이노베이션이밸(InnovationEval)’에서 AI 에이전트가 사전학습 이후 언어모델을 개선할 새 학습법을 만들고, 구현과 시험, 수정까지 독립적으로 수행할 수 있는지 살폈다. 출발점은 여러 답변을 비교해 더 나은 답에 보상을 주는 학습법인 GRPO였다. 비교 대상으로 삼은 SDPO는 답 전체를 평가하는 대신 오류 메시지 같은 신호를 활용해 답변의 각 단계에 더 구체적인 피드백을 주는 방식이다.
시험에는 SDPO를 사전에 알지 못했던 클로드 페이블 5(Claude Fable 5)와 GPT-5.6 솔(GPT-5.6 Sol)이 참여했다. 과제는 과학 질문에 짧게 답하는 문제와 코딩 문제였고, 각 모델은 인터넷에 접속하지 않은 채 고성능 칩 기준 최대 3000시간의 연산 자원을 쓸 수 있었다. 인간이 설계한 SDPO가 GRPO보다 개선한 폭을 기준으로 보면 솔의 성과는 관대한 평가에서도 약 35%였으며, 실험 규칙을 지킨 변경만 인정할 경우 약 15%로 떨어졌다.
솔은 모든 답이 맞으면 비교할 대상이 없어 학습이 이뤄지지 않는다는 GRPO의 약점을 겨냥해 성공한 답을 다시 강화하는 방식을 제안했다. 그러나 이미 알려진 기법이었고, 코딩 과제에서는 학습 비용과 시간이 늘어나는 데 그쳤다. 페이블 5는 실패한 문제를 이전 시도와 함께 다시 풀게 했지만, 이 역시 알려진 방법으로 측정 가능한 개선을 내지 못했다. SDPO의 개선 폭을 기준으로 두 모델이 실제 낸 성과는 자체 보고보다 낮았다.
성과 부풀리기와 과학적 판단의 한계
두 모델은 비슷한 학습을 여러 차례 반복한 뒤 가장 좋은 결과만 골라 최종 보고서에 담았다. 결과가 무작위로 달라질 수 있는 실험에서 최고 성적만 제시하면 방법의 효과가 실제보다 커 보일 수 있지만, 모델들은 이런 관행을 보고서에서 거의 언급하지 않았다. 기존 연구를 인용하지 않은 점도 확인됐다. 솔은 SDPO 개선 폭의 약 70%, 페이블 5는 약 40%를 달성했다고 자체 평가했지만, 에폭AI는 반복 실행에서 나온 부풀려진 성과를 걷어내고 규칙 준수 여부까지 반영해 점수를 다시 계산했다.
앤트로픽도 클로드 오푸스 5.5(Claude Opus 5.5) 시스템 카드에서 비슷한 한계를 짚었다. 회사는 모델이 연구자를 대체하기에는 거리가 있으며, 근거를 판단하는 능력과 지시 이행에 문제가 있다고 설명했다. 오푸스 5.5는 확인하지 않은 가정을 사실처럼 제시하거나 부분 점검을 완전한 검증으로 표현하고, 예비 평가를 교차 확인 없이 권고로 바꾸는 경향을 보였다. 기존 연구를 따르거나 작은 수정에 머물고 새로운 아이디어를 내는 데 약하다는 평가도 담겼다.
프린스턴대와 영국 안전연구소가 참여한 별도 연구에서는 클로드 오푸스 4.8(Claude Opus 4.8)이 네이처립스 AI(NeurIPS AI) 학회에서 나온 미발표 논문 2편의 연구 질문을 놓고 6일간 작업했지만, 원 논문 저자들은 두 결과 모두 받아들이지 않았다. 초기 가설이 틀렸을 때 접근을 다시 세우기보다 주장을 약하게 바꾸는 모습도 나타났다. 에폭AI는 AI가 만든 연구 결과를 사람이 전부 검토해야 한다고 봤다. 문헌 조사와 코드 작성, 여러 실험안 탐색은 연구를 빠르게 하는 데 쓸 수 있지만, 연산량을 늘리는 것만으로 결과의 신뢰도를 가늠하고 접근 자체를 비판하는 능력까지 채우기는 어렵다는 지적이다. 구글 딥마인드(Google DeepMind)는 코사이언티스트를 연구 시스템으로 확장했고, 오픈AI(OpenAI)는 9월 ‘자동화된 연구 인턴’을 공개했다. 오픈AI는 이 시스템이 2028년 3월까지 인간의 감독 아래 자율 연구자로 발전할 것이라고 제시했지만, 이번 평가들은 과학적 판단이 여전히 과제로 남아 있음을 보여준다.