추론 토큰 80% 줄인 AI 모델 HDM, 웹 조작 보상은 왜 낮아졌나

같은 모델이 빠른 판단과 긴 풀이를 고르는 HDM, 줄어든 풀이와 낮아진 보상을 함께 읽어야 하는 이유

웹 조작 자동화 벤치마크 테스트 화면과 실행 버튼을 가리키는 커서가 표시된 연구실 모니터
AI 생성 이미지
핵심 요약 AI 요약
1
추론 효과 예측:HDM은 빠른 판단과 긴 추론의 결과를 비교해 학습한 선택 장치로 추가 추론이 답을 개선할지를 예측한다.
2
단일 모델 경로 선택:같은 기반 모델에서 빠른 판단과 긴 추론을 선택하며, 답변을 생성하지 않는 빠른 경로도 입력 처리 연산은 수행한다.
3
웹 조작 절감과 손실:웹 조작 과제 27종에서 항상 추론하는 방식과 비교해 평균 토큰은 3345개에서 664개로 80.1% 줄고 시간은 96.1초에서 31.3초로 단축됐으나, 과제 보상은 0.519에서 0.469로 낮아졌다.
4
단순 분류에서 빠른 경로 우위:은행 문의 분류 300항목에서는 빠른 경로의 정확도가 92.3%로 HDM의 92%와 항상 추론하는 방식의 91.3%보다 높았다.
5
재현과 도입의 한계:웹 조작 비교군의 반복 횟수가 부족하고 실행 가능한 공개 코드를 확인하지 못했으며, 도입 손익에는 학습 자료 생성과 오답 검토 비용도 반영해야 한다.
기사 목차 펼치기 / 접기

AI의 긴 풀이를 줄이면 시간과 비용을 아끼지만, 답의 품질까지 지켜지는 것은 아니다. 추가 추론의 효과를 예측하는 HDM 연구도 웹 조작 실험에서 추론 토큰을 80.1% 줄이는 대신 보상 일부를 포기했다.

단순 계산과 복합 추론을 가르는 ‘0 또는 T’ 선택 구조

천원짜리 물건을 사고 만원을 냈다고 하자. 거스름돈을 구할 때마다 긴 계산 과정을 적지는 않지만, 여러 사람이 나눠 낸 돈을 정산할 때는 계산식을 다시 살핀다. 같은 사람도 문제에 따라 들이는 시간이 다르다.

AI도 모든 질문에 긴 풀이를 붙여야 할까? 여기서 풀이는 답에 이르는 중간 과정을 글로 만드는 작업으로, 글을 차례로 만들수록 계산도 이어지고 기다리는 시간도 늘어난다. 어려운 문제에서는 도움이 되지만 쉬운 판단까지 매번 길게 풀 이유는 없다.

11월 12일 공개된 HDM 논문은 추가 추론이 답을 개선할지를 먼저 예측하는 방식을 제안했다. 모델이 이미 처리한 정보를 읽고, 긴 풀이를 이어갈지 정하는 구조다. 사람이 문제를 보고 마음먹는 과정과 같다는 주장은 아니며, 기다릴 이유가 있는 문제를 고르는 실험이다.

자신감과 정답 개선은 다르다

시험을 치른 뒤 답을 고치는 장면을 떠올려보자. 답이 맞을지 자신 없는 문제부터 다시 볼 수 있지만, 다시 풀어도 모르면 시간을 쓰고도 틀린다. 처음에 맞게 푼 답을 고쳐서 틀리는 경우도 있다.

“지금 답을 얼마나 믿는지와 다시 풀면 나아질지는 다른 질문이다.”

연구진은 선택 장치 설계에서 빠른 답과 긴 풀이의 결과를 함께 학습하도록 했다. 둘 다 맞거나, 빠른 쪽만 맞거나, 느린 쪽만 맞거나, 둘 다 틀리는 경우를 나눈다. 이 가운데 느린 쪽만 맞을 문제를 잘 찾아야 추가 추론이 보탬이 되며, 빠른 쪽만 맞는 문제라면 오래 기다리는 선택이 오히려 해롭다.

과잉 추론 위험을 다룬 다른 연구도 이미 맞은 답에 도달한 뒤 추론을 계속하다가 틀어지는 현상을 보고했다. 글이 길어지기만 하는 경우와 정답이 무너지는 경우를 구별한 연구로, 답을 일찍 끊는 것만으로 후자의 문제가 풀리지는 않았다. HDM의 성능을 검증한 결과는 아니지만, 생각을 늘리는 선택에도 실패가 따른다는 반대 근거다.

실제 시험에서는 정답을 모르고 재검토할 문제를 고르며, HDM도 새 질문의 정답을 미리 보고 경로를 택하지 않는다. 학습 때 두 방식의 결과를 비교해 얻은 패턴으로, 추가 추론의 효과를 추정한다. 자신감이 낮다는 이유만으로 모두 오래 풀게 하는 방식과 구별되는 지점이다. 재검토 시간을 배분할 때도 지금 틀릴 위험과 고쳐서 맞힐 여지를 함께 보게 된다.

한 모델 안의 두 가지 속도

HDM 아키텍처는 서로 다른 AI 두 개를 부르는 대신 같은 기반 모델 안에서 빠른 판단과 긴 추론을 선택한다. 기반 모델의 학습된 값은 그대로 두고 작은 선택 장치만 학습하며, 빠른 쪽은 입력을 한 번 처리한 뒤 주어진 보기의 확률을 읽는다. 답변 문장을 한 글자씩 만들어 내는 과정은 거치지 않지만, 0토큰이어도 입력을 읽는 계산은 그대로 수행한다.

긴 풀이가 유리하다고 판단하면 같은 모델이 글을 이어 만든다. 이때 모델이 질문을 한 번에 읽어 들이는 사전 처리인 프리필 캐시 결과를 그대로 재사용하므로, 처음부터 다시 계산하는 중복 연산 부담을 줄인다. 다른 회사의 고급 모델로 질문을 넘기는 서비스와는 구조가 다르다.

생성 토큰은 모델이 만들어 내는 글 조각을 세는 단위이며, 줄어든 글 조각의 수가 전체 연산량을 그대로 나타내지는 않는다. 사용자는 추가 추론 가격을 바꿔 긴 풀이를 얼마나 자주 쓸지 조절한다. 여기서 가격은 결제할 요금이 아니라, 더 나은 답을 얻을 가능성에 견줘 추가 추론을 얼마나 허용할지 정하는 기준이다.

추론을 선택하는 발상 자체가 처음 나온 것은 아니다. 앞선 ThinkSwitcher 연구는 한 모델의 짧은 풀이와 긴 풀이를 고르는 방식을 다뤘다. HDM은 빠른 경로에서 답변 글을 생성하지 않는 판단까지 묶었다. 실험의 중심은 주어진 보기에서 답을 고르는 과제로, 이 결과를 모든 자유로운 대화의 답변 방식으로 넓혀 읽기는 어렵다.

웹 조작 27종에서 토큰 80.1% 절감, 보상 0.050 하락

연구진은 웹 화면에서 클릭하는 미니워브(MiniWoB) 평가용 과제 27종으로 HDM을 평가했다. 기반 모델은 큐웬(Qwen)3.8-27B이며, 한 단계의 추론에는 최대 512토큰을 허용했다. 아래 수치는 한 번의 과제를 진행하는 전체 과정당 평균이다. 실험에서 긴 풀이를 무한히 허용한 것은 아니므로, 선택한 경로의 효과도 연구진이 정한 토큰 한도 안에서 읽어야 한다.

항상 긴 추론을 쓰면 3345토큰, HDM으로 선택하면 664토큰을 사용했다. 두 값의 차이를 항상 추론하는 쪽의 토큰 수로 나누면 약 80.1%가 줄었다. 그 대신 환경이 과제 끝에 주는 보상 점수는 0.519에서 0.469로 낮아졌다. 점수 차이는 0.050이며 이를 곧바로 정답률 5%p 하락이라고 바꾸지는 않는다. 화면에서 버튼을 한 번 잘 누르는 일과 여러 단계를 거쳐 과제를 끝내는 일은 다르므로, 이 보상은 중간 판단 하나하나의 정답률과 나눠 봐야 하며, 아낀 토큰 옆에는 낮아진 보상도 함께 놓여야 한다.

전체 과정의 시간도 평균 96.1초에서 31.3초로 줄었다. 다만 시행 조건을 보면 선택 방식은 무작위 조건을 바꾼 세 번의 결과를 합쳤고, 빠른 방식과 느린 방식에 고정한 비교군은 각각 한 번이었다. 27종은 과제의 종류 수이며 전체 시행 횟수가 아니다.

시행 간 차이까지 확인해 같은 절감률이 반복될지 판단할 자료는 부족하다. 비교군도 같은 횟수로 반복한 결과가 있어야, 우연히 잘된 실행과 꾸준한 개선을 가르는 데 도움이 된다.

가령 검토 시간을 줄인 대가로 일부 문제를 놓치는 방식이라면, 놓친 문제의 손실도 계산에 들어간다. 토큰 수만으로 유리한 선택을 정할 수는 없으며, 무엇을 틀렸는지에 따라 같은 점수 하락의 무게가 달라진다.

HDM 작업별 실험 성과와 도입 판단 기준
arXiv:2611.16961, 큐웬3.8-27B 기준
웹 조작 (MiniWoB 27종)
추론 토큰 80.1% 절감
664토큰 (기존 3345)
평균 실행 시간은 96.1초에서 31.3초로 줄었으나 과제 보상은 0.519에서 0.469로 낮아짐.
문의 분류 (300항목)
빠른 판단 단독 우위
92.3% vs HDM 92%
은행 문의 의도 분류처럼 단순한 업무는 선택 장치 없이 빠른 경로 고정이 더 정확함.
재현·운영 전제
공개 코드 미확인
임시 주소 각주
상용 챗봇 기본 기능이 아니며, 사전 학습 자료 생성 비용과 오답 검토 비용을 별도 산정해야 함.
[실무 판단 기준] 다단계 에이전트 작업에선 토큰과 시간을 크게 줄이나, 단순 분류엔 빠른 경로 고정이 유리하며 0토큰 경로도 입력 처리 연산은 그대로 수행됨.

단순 분류에선 빠른 응답이 우위, 도입 전 따질 비교 조건

쉬운 업무라면 빠른 방식에 고정하는 편이 나을 수도 있다. 은행 고객의 문의 의도를 고르는 별도 실험 300항목에서는 빠른 방식의 정확도가 92.3%로, 항상 추론한 방식의 91.3%와 HDM의 92%보다 높았다. 선택 장치를 붙인다고 모든 업무에서 두 고정 방식보다 나아지지는 않았으며, 무엇과 비교해 아꼈는지부터 따질 이유다.

논문에 적힌 속도도 비교 조건과 함께 봐야 한다. 연구진은 다른 시스템에서 가져온 지연 수치가 서로 다른 실행 환경에서 측정됐다고 밝혔다. 같은 장비와 서비스 조건을 맞춘 속도 우위로 읽을 수 없다. 또 11월 16일 확인한 논문 첫 버전의 코드 각주는 임시 주소여서 실행 가능한 공개 코드를 확인하지 못했다.

작은 선택 장치를 학습해도 준비 비용은 남는다. 정답이 있는 문제에서 빠른 판단과 긴 추론을 모두 실행한 뒤 결과를 비교해 학습 자료를 만든다. 기반 모델을 통째로 다시 학습하지 않는다는 설명과 학습 비용이 없다는 주장은 다르다. 이번 수치는 논문을 대조한 것이며 실행 실험으로 재현하지 않았다. 처음 자료를 만드는 데 쓴 계산과 이후 질문마다 아끼는 계산을 합쳐야 실제 도입의 손익을 따질 수 있다.

반복 업무에서 허용할 오류의 범위는 아직 남아 있으며, 기다림을 줄인 뒤 생기는 오답을 누가 다시 확인할지, 그 검토에 얼마가 들지는 토큰 표에 나오지 않는다. HDM의 가격 설정을 바꾸기 전에 정해야 할 것은 그 오답의 처리 방식이다.

자주 묻는 질문 (FAQ)
Q. 토큰을 만들지 않는 답변은 연산도 하지 않나?
A.입력을 처리하고 보기의 확률을 구하는 계산은 수행한다. 빠른 경로에서 생략하는 것은 답변 글을 차례로 생성하는 과정이다. ‘0토큰’을 전력이나 서버 비용이 들지 않는다는 뜻으로 읽으면 안 된다.
Q. 토큰을 80% 줄이면 내 AI 요금도 80% 줄어드나?
A.이번 실험에서 줄어든 것은 항상 추론하는 설정과 비교한 생성 토큰이다. 실제 요금에는 입력 처리와 서비스 요금 체계가 반영된다. 품질이 낮아져 재시도나 사람의 확인이 늘어나는 경우까지 따져야 절약한 금액을 알 수 있다.
Q. 지금 쓰는 챗봇에서 HDM을 바로 켤 수 있나?
A.이 논문은 연구 방식과 실험 결과를 제시할 뿐, 현재 챗봇 설정에서 켤 수 있는 공통 기능을 발표한 자료가 아니다. 실행 가능한 공개 코드와 본인 업무에서의 성능도 별도로 확인해야 한다.

RELATED ARTICLES

RECOMMENDED STORIES