구글과 딥마인드 연구진이 과거 탐색 기록을 재활용해 AI 에이전트가 복잡한 문제를 더 적은 시도로 풀도록 돕는 방법 ‘드림-RSI’를 개발했다. 이 방식은 AI 모델 자체를 바꾸지 않고 탐색 전략만 개선한다. 해외 AI 전문 매체 더디코더는 9월 19일 이 연구를 소개했다.
과거 탐색 기록으로 전략 재시험
AI 에이전트는 해법을 제안하고 결과를 평가한 뒤 학습해 다시 시도하는 과정을 반복한다. 문제의 난도가 높아질수록 어떤 접근을 이어가고, 여러 시도를 병렬로 진행하며, 실패한 경로를 언제 포기할지 결정하는 탐색 전략이 성능과 연산량을 좌우한다. 연구진은 드림-RSI가 완료된 탐색의 시도와 결과를 저장한 뒤, 같은 기록 안에서 다른 전략을 적용했을 때 어떤 결과가 나왔을지 재생하도록 설계했다고 설명했다.
기존의 고정된 탐색 전략은 경험을 반영하지 못해 같은 실패 경로를 반복할 수 있고, 탐색 중 전략을 바꾸는 방식은 대안을 검증할 때마다 장시간의 실행을 다시 해야 한다. 드림-RSI는 저장된 탐색 트리의 결과를 활용하므로 새로운 해법을 생성하거나 평가 모델을 다시 호출하지 않고도 수천개의 대체 전략을 시험할 수 있다. 연구진은 이를 과거 경로를 머릿속으로 다시 살펴보는 과정에 빗대 ‘꿈꾸기’라고 부른다. 실시간 탐색과 기록 재생을 번갈아 수행하며 다음 탐색에 개선된 전략을 적용하는 구조다.
제미나이 모델에서 성능 검증
연구진은 제미나이 3.1 프로(Gemini 3.1 Pro)와 제미나이 3.7 플래시(Gemini 3.7 Flash)를 활용해 3개 분야 8개 과제에서 드림-RSI를 검증했다. 통계 계산에 쓰이는 프로그램을 가장 빠르게 작성하는 과제에서 제미나이 3.1 프로의 평균 실행 시간은 3587밀리초에서 2931밀리초로 줄었고, 시도 횟수는 550회에서 317회로 감소했다. 생성된 프로그램은 6개 시험 데이터셋 모두에서 기존 라이브러리인 사이킷런과 글름넷보다 빠르게 실행됐다.
경쟁 시스템인 심플TES(SimpleTES)는 같은 과제에서 51200회의 실행이 필요했지만 드림-RSI는 317회로 결과를 냈다. 수학 최적화와 효율적인 GPU 커널 작성 과제에서도 비슷한 경향이 나타났다. GPU 과제 2개에서는 성능을 유지하면서 실행 횟수를 최대 2.43배 줄였고, 다른 2개 과제에서는 같은 연산 예산으로 최대 2.09배 높은 성능을 냈다. 다만 탐색 기록을 구체적인 지침으로 압축해 제공한 방식은 한 GPU 과제에서 성능이 낮아졌다. 지나치게 좁은 지시가 탐색 공간을 제한할 수 있다는 분석이다.
드림-RSI는 성능이 좋아지는 초기에 시도 횟수를 줄이다가 진전이 멈추면 다시 탐색량을 늘리는 방식으로 움직였다. 이 과정에서 추가적인 성능 향상이 나타났으며, 변경되는 것은 탐색 전략이고 해법을 생성하는 AI 모델은 그대로 유지됐다. 연구진은 연구 코드와 추가 세부 내용을 깃허브(GitHub)에 공개했다.
이번 연구는 AI 에이전트가 새로운 알고리즘이나 수학 해법, 더 빠른 코드를 스스로 찾는 재귀적 자기개선 연구에서 연산 비용을 줄일 수 있는 방법을 제시한다. 다만 드림-RSI가 완전히 새로운 해법을 기록 밖에서 만들어내는 방식은 아니며, 이미 탐색한 경로 안에서 의사결정 순서를 바꿔 검증한다는 한계가 있다.