마이크로소프트 리서치(Microsoft Research) 연구진이 AI 에이전트의 대화 기록을 지우고 기존 작업물은 유지하는 방식으로 같은 연산량에서 평균 성능을 66% 높였다고 밝혔다. 장시간 작업하는 에이전트가 대화 맥락에 갇혀 비슷한 해법만 반복하는 문제를 병렬 분기와 대화 초기화로 줄였다는 연구 결과다. IT 전문 매체 더디코더(The Decoder)는 10월 13일 이 연구를 보도했다.
대화 맥락이 에이전트의 탐색을 좁힌다
연구진은 해법을 제안하고 평가한 뒤 피드백을 반영해 개선하는 ‘오토리서치 에이전트’를 살폈다. 같은 에이전트가 같은 과제를 각각 독립적으로 수행한 8회 실험에서 최종 점수는 68.3~100.0으로 크게 벌어졌다. 연산량을 상당히 늘려도 점수 차이가 유지됐다. 대화 기록을 주기적으로 요약하는 것만으로는 이런 정체 현상이 해소되지 않았다.
연구진은 각 실행에서 나온 해법을 유사도에 따라 2차원 지도에 배치했다. 한 번의 실행에서 나온 해법은 대부분 지도의 좁은 영역에 머물렀으며, 연구진은 이를 ‘아이디어 분지’라고 불렀다. 에이전트가 남은 연산 자원의 상당 부분을 생산성이 낮은 분지 안에서 해법을 다듬는 데 써 다른 실행에서 발견된 접근법을 찾지 못하는 양상이 나타났다. 이전 대화 맥락을 물려받은 분기도 기존 추론의 영향을 받아 같은 분지로 돌아가는 경향이 있었다.
포크앤드플러시, 작업물은 두고 대화만 초기화
연구진이 제안한 포크앤드플러시(Fork-and-Flush)는 에이전트를 K개의 병렬 분기로 나누는 ‘포킹’과 각 분기의 대화 맥락을 비우는 ‘플러싱’을 결합했다. 분기들은 앞선 작업 공간과 생성 파일을 이어받지만, 대화 기록은 없는 상태에서 새 대화를 시작한다. 코드와 파일, 저장된 결과는 남기면서 이전 추론이 다음 탐색을 제한하는 것을 줄이는 방식이다. 이후 가장 성과가 좋은 분기를 남기고 나머지는 버린다.
폴리오미노 채우기, 작업 일정 최적화, 암호 분석, CIFAR 분류기 압축, VLIW 커널 최적화 등 장시간 수행이 필요한 13개 과제에서 이 방식을 시험했다. 개별 실행은 수 시간에서 100시간 이상 걸렸다. 에이전트에는 깃허브(GitHub) 코파일럿(Copilot) CLI를 통한 GPT-5.6-테라(Terra)와 GPT-5.5가 쓰였다. 같은 연산 예산에서 13개 과제의 정규화 평균 점수는 포크앤드플러시가 0.78로 단일 실행의 0.47, 4회 실행 중 최고 결과를 고르는 방식의 0.54보다 높았다.
연구진은 포크앤드플러시가 13개 과제 중 12개에서 가장 높은 평균 점수를 냈다고 밝혔다. 단일 실행 대비 상대 향상률은 66%, 최고 결과를 고르는 방식 대비 44.4%였다. 정규화 점수의 표준편차도 단일 실행의 0.26에서 0.16으로 낮아져 결과 편차가 줄었다. 분기를 만들지 않고 대화 맥락만 초기화한 경우에도 11개 과제의 평균 점수가 약 22% 개선됐다.
연구진은 모델의 규모가 커져도 맥락 초기화의 필요성이 사라지지 않을 수 있다고 봤다. Qwen3.5-4B·9B·27B로 MAX-3-SAT 문제를 시험한 결과, 실행별 성능 차이는 모델이 풀 수 있는 능력의 경계에 놓인 과제에서 가장 컸다. 쉬운 과제에서는 대부분 성공하고 매우 어려운 과제에서는 대체로 실패했지만, 능력의 경계에서는 실행에 따라 성패가 갈렸다. 연구진은 모델이 발전해도 이런 경계가 더 어려운 문제 쪽으로 옮겨갈 뿐, 연구 과제에서 주기적으로 맥락을 초기화하는 방식은 유용할 수 있다고 설명했다.