대규모 언어모델의 강화학습(RL)이 어려운 문제보다 이미 잘 풀던 쉬운 문제의 성능을 더 빠르게 끌어올리는 ‘매튜 효과’를 보인다는 분석이 나왔다. 분석 이 편향을 줄이기 위한 비동기 샘플링 기법 ‘네버 기브 업(Never Give Up)’을 제안했다.
대규모 언어모델 강화학습의 매튜 효과
개인 기술 블로그에 실린 분석 글에 따르면 연구진은 수학·코드·에이전트형(agentic) RL 실험에서 모델의 초기 실력에 따라 강화학습의 개선 폭이 달라지는 현상을 관찰했다. 강화학습이 문제를 전반적으로 고르게 개선하는 것이 아니라, 모델이 처음부터 어느 정도 풀 수 있던 과제에 더 큰 이득을 안긴다는 설명이다.
올모 3.1 RL-제로 수학(Olmo 3.1 RL-Zero Math)의 AIME 2025 평가에서는 30개 문제의 평균 점수만 보면 학습이 순조롭게 진행되는 것처럼 보였다. 그러나 문제를 초기 모델의 pass@32 기준으로 나누자 차이가 드러났다. 초기 모델이 32번 시도해도 한 번도 풀지 못한 문제를 어려운 문제로 분류하고, 나머지는 통과율에 따라 중간·쉬운 문제로 나눴을 때 초기 pass@1 평균은 각각 0%, 3.8%, 22.7%였다. 학습 중 개선의 대부분은 이미 어느 정도 풀던 쉬운 문제를 더 안정적으로 해결하는 데서 나왔고, 가장 어려운 문제의 성능은 거의 나아지지 않았다.
같은 경향은 코드 RL과 에이전트형 RL에서도 확인됐다. 딥코더(Deepcoder)와 딥SWE(DeepSWE) 공개 프로젝트의 모델·로그를 활용해 벤치마크를 난이도별로 나누거나 기존 과제 길이·난이도 표지를 적용한 결과, RL의 성과는 과제의 쉬운 정도에 비례했다. 분석은 이를 경제학·네트워크 과학에서 말하는 ‘부익부’ 현상인 매튜 효과에 연결했다. GRPO가 이 문제의 원인이라고 생각할 수도 있다. k개로 샘플링한 답변에서 정답이 하나도 나오지 않으면 학습 신호가 생기지 않는 현상을 싱옹 등(2025)은 ‘신호 손실’이라고 부르지만, 연구진은 어려운 문제를 충분히 표본 추출하지 못하는 것뿐 아니라 쉬운 문제에 계산 자원을 과도하게 쓰는 것도 문제라고 봤다.
샘플 수를 난이도에 맞추는 네버 기브 업
연구진은 큐웬 2.5 0.5B 인스트럭트(Qwen 2.5 0.5B Instruct)를 GRPO로 GSM8K 플래티넘에 학습시키며 k를 4·8·16·32로 바꿨다. 데이터는 초기 pass@1에 따라 쉬운 문제 25%, 중간 문제 10%, 어려운 문제 5%, 초고난도 문제 0%로 구분했다. 모든 답변이 맞거나 틀린 프롬프트를 배치에서 제외하고 배치 크기를 고정한 실험에서는 예상과 달리 k=4가 가장 나은 결과를 보였다.
k가 커지면 어려운 문제에서 드물게 나오는 정답을 찾을 가능성이 높아지지만, 쉬운 문제에서 드물게 나오는 오답을 찾을 가능성도 함께 커진다. 학습 초반에는 k=32가 어려운 문제를 더 많이 포착했지만, 약 200번째 학습 단계 이후에는 k=4가 쉬운 문제를 빠르게 걸러내며 유리해졌다. k=4는 네 번의 답변이 모두 맞으면 해당 문제를 제외하지만, k=32는 32번 모두 맞아야 제외하기 때문에 쉬운 문제에 더 많은 계산량을 소모한다는 설명이다.
네버 기브 업은 처음에는 작은 k로 답변을 뽑고, 일부 답변이 맞으면 즉시 학습에 활용하는 방식이다. k개 답변이 모두 맞으면 문제를 빠르게 걸러내고, 모두 틀리면 일정 확률 p로 해당 프롬프트를 생성 단계에 다시 넣어 k개를 추가 샘플링한다. 이전 답변을 계속 보관하다가 정답이 나오면 전체 샘플을 학습에 사용한다. 정답을 끝내 찾지 못할 경우에도 기대 샘플 수는 k/(1-p)로 표현되며, 문제 난이도에 따라 계산 자원을 암묵적으로 조절하는 구조다. 이 방법이 쉬운 문제에는 작은 샘플 수를, 어려운 문제에는 더 큰 샘플 수를 배정해 신호 효율을 높이는 접근이라고 설명했다.