AI 평가업체 발스AI(Vals AI)가 GPT-6 솔(Sol)과 클로드 오푸스 5.5(Claude Opus 5.5)를 단일 에이전트와 팀으로 각각 시험한 결과, 팀은 비용을 최대 5.1배 쓰고도 대부분 성능을 유의미하게 높이지 못했다. 더디코더는 10월 12일 이 평가 결과와 앤트로픽(Anthropic)·오픈AI(OpenAI) 관계자들의 관련 발언을 보도했다.
에이전트 팀, 비용 늘어도 점수는 제자리
발스AI는 ‘바이브 코드 벤치(Vibe Code Bench)’에서 두 모델을 중간과 최대 추론 노력 설정으로 평가했다. 단일 에이전트와 여러 에이전트가 협력하는 팀을 비교한 네 가지 경우 중 통계적으로 유의미한 개선은 한 번뿐이었다. GPT-6 솔을 중간 추론 노력으로 실행했을 때 팀 점수가 단일 에이전트보다 7.3점 높았다. 반면 최대 추론 노력에서는 솔과 클로드 오푸스 5.5 모두 팀 구성으로 얻는 뚜렷한 이점이 없었다.
팀 구성의 비용은 단일 에이전트의 1.8~5.1배로 집계됐다. 즉 에이전트 수를 늘리는 데 드는 비용이 점수 개선으로 이어지는지는 모델과 추론 설정에 따라 달랐으며, 네 차례 비교 가운데 세 차례에서는 통계적으로 유의한 성능 향상이 확인되지 않았다. 특히 이미 최대 추론 노력으로 작동하는 모델에서는 팀을 구성해도 성능상 이득이 거의 나타나지 않았다는 게 보도의 핵심이다.
앤트로픽이 클로드 오푸스 5.5로 진행한 자체 시험에서도 에이전트 수가 늘수록 품질 개선 폭은 줄었다. 지식 기반 과제의 점수는 에이전트 1개일 때 0.53, 10개일 때 0.70, 30개일 때 0.71, 100개일 때 0.74였다. 린 정리 증명(Lean Theorem Proving)에서는 각각 0.39, 0.66, 0.66, 0.68로 나타났다. 두 과제 모두 1개에서 10개로 늘릴 때 점수가 크게 올랐지만, 10개 이후에는 상승 폭이 작았다. 앤트로픽은 100개 에이전트를 투입한 뒤 24시간이 지나도 점수 상승이 제한적이었다고 평가했다.
과제에 따라 달라지는 에이전트 팀의 효용
페이블(Fable) 5.1은 린 정리 증명 과제에서 에이전트 10개를 넘긴 뒤에도 점수가 더 개선됐지만, 전체 시험에서는 클로드 오푸스 5.5보다 낮았다. 지식 기반 과제에서는 에이전트를 30개에서 100개로 늘리자 점수가 오히려 소폭 떨어졌다. 프로그램벤치(ProgramBench) 시험에서는 처리 속도가 빨라지는 대신 토큰 사용량도 늘었다. 따라서 에이전트 추가로 얻는 속도와 품질·비용의 변화가 같은 방향으로 움직이지는 않았다.
오픈AI(OpenAI) 연구원 노엄 브라운(Noam Brown)은 드워케시 팟캐스트(Dwarkesh Podcast)에서 다중 에이전트 시스템은 대체로 답의 품질보다 처리 속도를 높인다고 설명했다. 에이전트 4개를 쓰면 과제를 두 배 빠르게 풀 수 있지만 비용도 두 배가 들었고, 16개를 투입했을 때도 비슷한 양상이 이어졌으나 효율은 다소 낮아졌다. 브라운은 웹 조사나 수학처럼 작업을 나누기 쉬운 과제와 달리 소설 쓰기는 병렬화 효과가 작다고 말했다. 소설 한 편을 쓰는 데 에이전트 1만개를 투입하는 것은 사람 1만명을 동원하는 것만큼 무의미할 수 있다는 비유도 들었다.
브라운은 에이전트를 매우 큰 규모로 늘리는 시도는 비용이 너무 높아 아직 충분히 연구되지 않았다고 밝혔다. 오픈AI 개발자 에릭 프로방셰(Eric Provencher)도 에이전트 무리를 쓰면 조율이 제대로 되지 않아 비용을 낭비할 가능성이 크다고 경고하며 이를 ‘조정 비용(coordination tax)’이라고 불렀다. 이번 결과는 에이전트 수를 늘리는 선택이 모든 과제에서 더 나은 결과를 보장하지 않으며, 속도 개선이 목적일 때도 추가 토큰 비용과 조정 부담을 함께 따져야 한다는 점을 보여준다.