핵심 요약
기사 목차 펼치기 / 접기
코딩 에이전트에 장시간 작업을 맡겨본 엔지니어라면 누구나 뼈저리게 겪는 고질병이 있다. 처음 30분은 기가 막히게 해법을 찾던 AI가, 시간이 흐를수록 자기가 맨 처음 작성한 불완전한 코드 주변만 맴돌며 엉뚱한 곳을 헛파기 시작한다는 점이다. ‘대화창이 너무 길어졌나?’ 싶어 대화 요약(/compact) 명령어를 돌려봐도 헛바퀴는 멈추지 않는다. 실패한 생각의 관성과 편견까지 요약본에 고스란히 실려 넘어가기 때문이다.
마이크로소프트 리서치(Microsoft Research) 연구진이 발표한 최신 논문은 이 고질병의 본질적 원인과 파격적인 처방을 제시했다. AI를 헛바퀴의 늪에서 구출하는 유일한 길은 ‘대화 기억을 아예 백지로 깨끗이 비워버리고(Flush), 남겨진 작업 파일만 새 에이전트 넷에게 동시에 나눠주는(Fork)’ 포크 앤 플러시 방식이라는 결론이다. 똑같은 연산 비용을 쓰고도 정규화 평균 점수가 단일 실행보다 66% 급등했다. 기억을 비우거나 갈래를 나누는 것 중 어느 하나만 쓰면 개선 폭은 그 절반에도 미치지 못했다.
논문은 쯔양 차이(Ziyang Cai), 크리스토스 지아카스(Christos Ziakas) 등 연구진 8명이 집필한 포크 앤 플러시 논문(Fork-and-Flush: Escaping Idea Basins in Autoresearch Agents)이다. 10월 5일 arXiv에 올라온 사전 공개 논문으로, 동료 심사는 거치지 않았다. 제1저자 두 사람은 마이크로소프트 리서치 인턴 기간에 이 연구를 진행했다.
논문이 다루는 에이전트는 오토리서치(autoresearch) 방식으로 일한다. 해법을 고치고, 돌려 보고, 채점 결과를 보고 다시 고치는 고리를 몇 시간에서 며칠 동안 반복한다. 안드레이 카파시(Andrej Karpathy)가 2026년 3월 공개한 오토리서치 저장소가 이 방식을 널리 알렸다. 연구진은 비탈을 따라 내려가며 낮은 곳을 찾는 최적화 기법인 경사하강법에 빗대, 이 과정을 아이디어 하강(idea descent)이라고 불렀다.
공이 비탈을 굴러 가장 가까운 웅덩이에 멈추듯 에이전트도 처음 고른 해법 근처에 멈춘다.
8회 독립 실행이 드러낸 탐색 정체… ‘아이디어 분지’의 갇힘
출발점은 편차였다. 연구진은 동일한 모델과 도구로 설계한 실험에서 에이전트를 여덟 번 따로 독립 실행했다. 실험 과제 중 하나인 p171은 알고리즘 대회 앳코더(AtCoder)의 고난도 휴리스틱 최적화 문제를 옮겨온 것이다. 여기서 최종 최고점은 68.3부터 100까지 넓게 흩어졌다. 각 실행은 오랜 기간 점수가 제자리였고, 연산량을 더 투입해도 실행 사이의 격차는 좀처럼 좁혀지지 않았다.
연구진은 실행마다 무엇을 탐색했는지 지도로 그렸다. 제출물을 기능 명세로 다시 쓴 뒤, AI 판정자에게 세 개씩 보여 주고 어느 둘이 더 비슷한 접근인지 물었다. 지도 하나에 들어간 판정은 5610~6375건이다. 다섯 과제 평균으로 지도는 학습에 쓰지 않은 판정의 85%를 재현했다. 동전 던지기는 50%, 같은 실행에서 나온 제출물끼리 비슷하다고만 보는 기준은 56%였다.
지도 위에서 한 실행의 제출물은 연구진이 아이디어 분지(idea basin)라고 부른 좁은 구역에 몰려 있었고, 나중 제출물도 대개 그 안에 머물렀다. 골프공이 굴러떨어지다 깊은 골짜기에 빠져 영영 나오지 못하는 모습과 같다.
같은 지도를 들고 출발한 등산객 여덟 명이 각자 다른 골짜기에서 맴도는 모습이다.
이 갇힘은 대화 압축을 거친 뒤에도 남았다. 실험에 쓴 에이전트는 주기적으로 지난 대화를 요약본으로 바꿨다. 연구진은 압축이 앞선 추론의 영향을 줄여 탐색을 다시 열어 줄 것으로 기대할 수 있지만 그러지 못했다고 적었다.
대화 플러시와 4분기 포크… 최고점 단일 생존 메커니즘
연구진의 처방은 실행을 여러 갈래로 복제하는 분기(fork)와, 작업 폴더의 파일은 그대로 두고 대화 기록만 비우는 초기화(flush)의 조합이다. 논문은 에이전트의 작업 상태를 ‘결과물 파일’과 ‘대화 기록’으로 구분했다. 그러면서 플러시(초기화)의 본질을 인수인계 메모나 지난 대화 기록을 일체 남기지 않고, 작업 폴더 속 최종 산출물 파일만 온전히 넘겨받아 백지상태에서 새로운 탐색을 재개하는 과정으로 정의했다.
인수인계 메모 없이 작업 폴더만 넘겨받은 새 담당자를 넷 들이는 일과 같다.
일정은 고정했다. 먼저 빈 작업 폴더에서 에이전트 4개를 띄워 점수가 가장 높은 하나를 대표로 뽑았다. 대표는 혼자 일하다가 전체 예산의 33%와 66% 지점에서 다시 넷으로 갈라진다. 새 갈래 넷은 대표의 작업 폴더를 물려받았지만 대화는 비운 채 시작했다. 갈래마다 전체 예산의 약 6%를 쓰고 나면 최고점 갈래가 새 대표가 되고 나머지는 버려진다.
연구진은 어떤 조건에서도 에이전트에게 예산이나 잔량을 알려 주지 않았다. 비교 대상은 예산 전부를 한 실행에 쓰는 단일 실행과, 예산을 4등분해 독립 실행 넷을 돌리고 최고 결과를 고르는 best-of-4다.
포크 앤 플러시는 선두 주자의 결과물을 네 갈래에 다시 나눠 준다.
정규화 점수 66% 상승의 실체와 과제별 편차
실험 과제는 13개다. 앳코더 문제와 암호 해독, 지하수 오염원 추적 같은 과제 11개를 Frontier-CS와 EdgeBench에서 가져왔다. 나머지 둘 가운데 하나는 앤트로픽의 채용 과제다. 명령어 여러 개를 한 번에 묶어 병렬 처리하는 특수 반도체 회로(VLIW 칩)의 가상 커널을 최적화하는 문제다. 다른 하나는 연구진이 직접 설계한 표준 이미지 분류(CIFAR) 모델 경량화 및 압축 과제다.
본 실험의 모델은 GPT-5.6-terra를 11개 과제에, GPT-5.5를 큰 과제 2개에 썼다. 실행 도구는 깃허브 코파일럿 CLI(GitHub Copilot CLI) 1.0.73이다. 예산은 모델 토큰 사용량으로 매기는 크레딧(Credit)으로 쟀고, 100크레딧이 약 1달러다. 과제당 예산은 6000~10만크레딧으로 약 60~1000달러(약 8만~134만원)였다. 과제별 단일 실행 소요 시간 중앙값은 5~107시간이다.
66%는 표 맨 아래 줄에서 나온다. 과제마다 점수 단위가 달라서, 연구진은 과제별로 가장 낮은 결과를 0, 가장 높은 결과를 1로 놓고 다시 매긴 뒤 평균을 냈다. 포크 앤 플러시 0.78은 단일 실행 0.47보다 66%, best-of-4 0.54보다 44.4% 높다. 포크 앤 플러시의 평균은 단일 실행의 최고점 평균(0.75)도 넘었다.
다만 결과물이 66% 좋아졌다는 뜻은 아니고, 원점수 개선 폭은 과제마다 크게 다르다. 휴리스틱 배치 과제인 AHC014와 순서 최적화 과제인 order-add에서는 평균이 두 배를 넘었지만, 오염 추적 과제인 relay-lay의 차이는 0.3%에 그쳤다. 정규화는 과제 안의 순위를 재는 방식이라 이 두 경우가 평균에 같은 무게로 들어간다.
반 평균 등수가 올랐다고 모든 과목 점수가 같은 폭으로 오르지는 않는다.
포크 앤 플러시가 평균에서 앞선 과제는 13개 중 12개다. 예외인 LWE-rec(격자 기반 암호 해독)에서는 단일 실행이 155.3으로 144.6보다 높았다. 결과의 들쭉날쭉함은 줄어, 정규화 표준편차가 단일 실행 0.26에서 0.16으로 내려갔다. 13개 중 10개 과제에서 편차가 작아졌다.
단독 적용의 한계와 결합 시너지… 절제 실험이 입증한 효과
연구진은 두 동작을 떼어 놓고 다시 돌렸다. 대화를 비우되 하나만 띄우는 ‘초기화만’, 넷으로 나누되 대화를 그대로 물려주는 ‘분기만’이다. 비용이 큰 과제 2개를 뺀 11개 과제로 쟀기 때문에 기준값이 앞의 표와 조금 다르다.
단일 실행 대비 개선 폭은 초기화만 0.10, 분기만 0.12, 둘을 합치면 0.26이었다. 따로 얻은 몫을 더한 0.22보다 함께 쓴 쪽이 컸다. 연구진은 두 장치 모두 단일 실행보다 낫지만 어느 하나로 전체 효과를 설명할 수 없다고 적었다.
기억을 비워야 새 길이 열리고, 여럿을 보내야 그 길이 맞는지 가려진다.
과제별로는 예외도 있어서, 휴리스틱 알고리즘 과제인 p150에서는 초기화만 쓴 실행이 160.8로 네 방식 중 가장 높았다. 암호 해독 과제인 LWE-rec에서는 단일 실행이 가장 높았다. 평균만 보면 이런 편차가 가려진다.
흥미로운 결과가 하나 더 있다. 연구진은 각 분기 라운드에서 네 갈래 중 둘에게 “지금 구현된 것과 다른 접근을 고르라”는 지시를 붙였다. 지시를 받은 갈래가 최종 선택된 경우는 178개 라운드 중 81개, 46%였다. 지시가 효과 없을 때 기대되는 50%와 통계적으로 차이가 없는 수준이다(p=0.26).
다르게 해 보라는 주문은 승패를 바꾸지 못했다.
연구진은 탈출 장면도 지도로 보였다. 폴리오미노(polyomino) 조각 배치 과제에서 대표 실행이 예산의 71% 지점에서 갈라졌을 때, 버려진 세 갈래는 출발점에서 거의 움직이지 않았다. 선택된 한 갈래만 첫 제출에서 단일 실행의 보통 걸음보다 43배 먼 곳, 다른 분지로 건너갔다. 그 실행의 최종 점수는 93.9점, 단일 실행 중앙값은 84.6이다. 좌표 계산법을 바꿔 다시 그리면 거리가 43배에서 10배로 줄 뿐 다른 분지로 건너간 모습은 그대로다.
컨텍스트 압축과 초기화의 본질적 차이… 대화의 관성이 만든 격차
코딩 에이전트를 쓰는 사람에게는 익숙한 장면이다. 클로드 코드(Claude Code) 역시 공식 CLI 치트시트에서 대화 기록을 지우되 프로젝트 메모리는 남기는 ‘/clear’와 대화를 요약해 공간을 비우는 ‘/compact’ 명령어를 명확히 구분해 제공한다. 논문의 초기화는 전자의 방식이고, 실험 에이전트가 본래 수행하던 압축은 후자의 방식이다. 논문은 뒤의 것만으로는 갇힘이 풀리지 않았다고 보고했다.
요약본에는 결론과 함께 그 결론에 이른 생각의 방향도 실린다.
앤트로픽의 해법도 같은 방향이다. 앤트로픽은 2025년 11월 하네스 엔지니어링 분석에서 압축만으로는 다음 세션에 늘 명확한 지시가 넘어가지는 않는다고 적었다. 그래서 진행 기록 파일과 깃(git) 커밋 이력을 남기고, 새 세션은 이 파일부터 읽게 했다. 대화는 끊고 작업물로 이어 가는 설계다.
제프리 헌틀리(Geoffrey Huntley)가 제안한 ‘랄프(Ralph)’ 루프는 이 발상을 극단까지 밀었다. 같은 지시문을 에이전트에 끝없이 반복해 넣어, 매 회차 새 대화창에서 시작하게 한다. 계획과 명세는 파일에 두고 회차마다 다시 읽힌다. 논문의 분류로 보면 분기 없는 초기화, 즉 ‘초기화만’에 가깝다.
맥락을 비우는 이유로 흔히 드는 것은 입력이 길어질수록 성능이 떨어지는 현상이다. 크로마(Chroma)는 2025년 7월 컨텍스트 부패(Context Rot) 연구에서 모델 18종을 시험한 결과 입력 길이가 늘어날수록 성능이 급격히 저하된다고 발표했다. 이 논문에서는 요약으로 길이를 줄여도 갇힘이 남았다. 문제는 대화의 길이보다 대화가 실어 나르는 방향이었다.
난이도 경계에서 폭증하는 편차… 뒤집힌 U자 곡선의 역설
연구진은 편차가 어디서 커지는지도 따로 시험했다. 13개 과제로는 난도를 조절할 수 없어서, 수만 개의 논리 조건을 동시에 만족시켜야 하는 복잡한 퍼즐 문제인 MAX-3-SAT을 선택했다. 변수 개수를 10개부터 10만개까지 조절하며 난이도를 정밀하게 제어할 수 있는 표준 논리 만족 문제다. 풀이는 오픈웨이트(open-weights) 모델 Qwen3.5 4B·9B·27B가 맡았고, 조건마다 시작값만 바꿔 8~32번씩 반복 시험했다.
결과는 뒤집힌 U자였다. 너무 쉬운 문제는 모든 실행이 풀었고 너무 어려운 문제는 모든 실행이 비슷하게 실패했다. 실행 사이 편차가 가장 큰 지점은 모델이 기준 풀이기 성능의 약 절반(0.497)에 이를 때다. 모델 크기가 달라도 세 모델이 한 곡선 위에 놓였다.
시험이 너무 쉽거나 너무 어려우면 반 등수가 갈리지 않는다.
연구진은 이 결과를 근거로 모델이 강해져도 이런 편차가 사라지지 않을 것으로 봤다. 연구 과제의 경계도 모델과 함께 올라간다는 이유다. 다만 MAX-3-SAT에서 확인한 경향을 일반 연구 과제로 넓힌 예상이다. 논문은 추론 모델이 같은 말을 되풀이하며 맴도는 현상을 관련 연구로 들었는데, 연구진 일부는 올해 국제머신러닝학회(ICML) 발표 논문에서 이를 실증 분석한 바 있다.
결정론적 채점기의 한계와 실무 코딩 에이전트 적용의 전제
이 결과를 일상의 코딩 에이전트 사용법으로 곧장 옮기기는 어렵다. 가장 큰 조건은 채점기다. 13개 과제는 모두 같은 답에 늘 같은 점수를 주는 결정론적 채점기가 있는 최적화 문제였고, 네 갈래 중 하나를 고르는 일도 그 점수가 맡았다. 정답 점수가 없는 글쓰기나 기획 업무에서는 무엇을 남길지 고를 기준부터 새로 정해야 한다. 논문은 그런 과제를 시험하지 않았다.
채점표가 없는 시험에서는 네 답안 중 무엇을 고를지부터 막힌다.
실험의 폭도 좁아서, 본 실험은 과제 13개와 GPT 계열 모델 두 종, 실행 도구 하나로 이뤄졌다. 연구진도 비용과 시간 때문에 과제 수가 제한됐다고 적었다. 코드는 공개되지 않았고, 두 장치를 떼어 본 실험은 11개 과제로만 했다.
일정 설계에도 미완의 부분이 있다. 연구진은 처음에 점수가 정체하면 분기하는 방식을 썼지만, 5개 과제에서 돌린 25번 중 15번은 정체 조건이 걸리기 전에 예산이 바닥났다. 그래서 고정 일정으로 바꿨다. 고정 일정 두 종류가 개발 단계 6개 과제에서 모두 단일 실행보다 나았다는 결과도 과제당 실행이 1~11회로 적다.
비용 계산에도 빈칸이 있다. 연구진은 토큰으로 매기는 크레딧을 똑같이 맞췄을 뿐, 갈래를 병렬로 돌렸을 때 실제 걸린 시간은 비교하지 않았다. 분지 지도 역시 AI 판정자의 유사도 판단에 기댄다. 세부 기록에서는 표 1 설명이 실행 횟수를 5회로 적었지만, 본문과 부록은 단일 실행 기준선을 8회로 적었다.
연구진은 이 방법을 집단 탐색 기법들과 견주면서, 갈래가 파일을 만든 대화를 버린다는 점이 핵심이라고 짚었다. 대화창을 붙잡고 어르고 달래봤자 요약본의 관성에 갇혀 헛바퀴를 돌 뿐이다. 대화를 지우는 과감함과 다수를 시험하는 냉정함의 결합만이 웅덩이를 탈출시키는 열쇠다.
“갈래는 결과물에서 의도를 다시 읽어내야 하고, 바로 그 점이 갈래를 다른 분지에 내려앉게 한다.”
