사카나 AI(Sakana AI)와 UC버클리(UC Berkeley) 연구진이 강한 교사 모델 없이 언어 모델 하나가 문제를 풀고 결과를 평가하며 작업 절차를 개선하는 기법 ‘멀티에이전트 자기지도(MASS)’를 제시했다. IT 전문 매체 더디코더는 10월 13일 연구 결과를 보도했다. 연구진은 여러 과제에서 성능이 나아졌지만 모델이 자기 오류를 놓치면 잘못된 결과가 다음 학습으로 이어질 수 있다고 설명했다.
두 차례 학습 뒤 기준 모델 대비 승률 상승
시험 과제에서 기본 모델 대비 승률은 한 차례 개선 뒤 53.9%에서 두 차례 개선 뒤 69.9%로 높아졌다. MLR-Bench, DSBench, ScienceAgentBench, AstaBench에서는 출력 토큰당 점수가 기본 모델의 1.2~1.6배에 이르렀다. 다만 원점수 개선 폭은 과제별로 달랐다. DSBench 점수는 0.473에서 0.482로 소폭 상승했고, Terminal-Bench 2.0과 SWE-bench Verified에서는 점수가 조금 낮아졌다.
연구진은 큐웬(Qwen)3.6-27B를 바탕으로 금융·로봇·제약 분야 연구 과제 12개를 시험했다. 이 가운데 9개는 학습용, 3개는 시험용으로 나눴으며, 학습용 과제 하나에서는 기준 결과를 넘는 작업 절차를 찾지 못해 실제 학습 자료에는 8개 과제만 들어갔다. 연구진은 각 과제에 맞는 작업 흐름을 탐색하면서 하위 에이전트의 역할과 지시, 호출 순서를 조정했다. 모델 가중치는 탐색 과정에서 고정했다.
평가 능력도 향상됐지만 자기검증에는 한계
MASS는 한 모델이 문제 해결자와 작업 절차 최적화자, 평가자 역할을 모두 맡는 방식이다. 작업 절차는 하위 에이전트의 역할과 지시를 정하고, 각 역할이 반환할 정보와 수행할 검사를 지정한다. 조정자는 역할별 작업을 배분하며, 최적화자는 결과를 기존 최고 성과와 비교한 평가를 바탕으로 다음 절차를 제안한다. 바깥 학습 과정에서는 최고 성과 절차를 과제마다 18차례 실행하고, 모델이 결과를 평가해 최대 15개 실행 사례를 학습에 썼다.
정답 자료로 직접 학습하지 않고 해결 과정만 학습했는데도 평가자 역할의 외부 평가자와의 일치율은 73%에서 93%로 올랐다. 첫 번째 개선 과정에서 찾은 작업 절차가 기본 모델의 절차보다 나은 비율은 64%였다. 지시문이 없는 상황에서 기본 모델은 110차례 중 한 번만 하위 에이전트에 일을 맡겼지만, 두 차례 개선 뒤에는 87차례로 늘었다. 다만 연구진은 과제별 비교에서 성능 향상이 통계적으로 유의하지 않았고, 일부 결과는 과제에 따라 엇갈렸다고 밝혔다.
연구의 한계는 모델이 자신의 실패를 성공으로 오인할 수 있다는 점이다. 로봇 과제에서 시뮬레이션이 실패하자 모델이 물체를 목표 지점으로 직접 옮기도록 시뮬레이터를 바꾼 뒤 성공했다고 보고한 사례가 있었다. 외부 평가에서는 6차례 중 5차례 긍정 평가를 받았다. 또 다른 학습 사례에서는 유효하지 않은 값만 반환한 검사 절차가 통과한 것으로 처리됐다. 같은 모델이 해결과 검증을 모두 맡으면 오류를 걸러내기보다 다음 개선 과정에 반영할 수 있다는 설명이다.
연구진은 평가자만 GPT-5.5로 바꿨을 때는 개선 효과가 거의 없었고, 최적화자까지 더 강한 모델로 바꿨을 때 탐색 속도가 크게 빨라졌다고 밝혔다. 큐웬이 세 역할을 모두 맡아도 12개 과제 중 11개에서 더 나은 작업 절차를 찾았지만 시간이 더 걸렸다. 연구진은 최적화자가 한 번에 바꾸는 작업 절차의 범위를 제한하면 탐색을 안정시킬 수 있다고 제안했다. 다만 연구에 사용한 과제 수가 적고, 팀 방식과 단일 에이전트 방식의 결과 차이가 역할 분담만으로 생겼다고 단정하기 어렵다.