핵심 요약
AI 요약
기사 목차 펼치기 / 접기
오픈웨이트 경량 모델이 실제 코딩 실무에서 상용 클라우드 모델을 대체할 수 있을지 직접 검증에 나섰다. AI 스타트업 리커시브(Recursive)의 코딩 특화 모델 ‘플린트(Flint)’를 대상으로 11종 과제에 걸쳐 총 42회에 달하는 엄밀한 단위 테스트를 가동한 결과, 플린트는 42번의 과제를 단 한 번의 오작동 없이 모두 완수했다. 반면 동일한 조건에서 구글(Google) 젬마(Gemma) 4 26B-A4B는 38번, 알리바바(Alibaba) 큐웬(Qwen)3.8-27B는 33번 정답에 그쳤다.
다만 테스트 과제가 짧았다. 이 결과가 사측의 벤치마크 1위 주장을 완전히 입증하지는 않는다.
앞선 1편 분석 기사에서는 플린트의 하드웨어 요구 사양과 PC 구동 조건을 다뤘다. 이번 2편에서는 고가 장비 없이 누구나 접근할 수 있는 오픈라우터 무료 엔드포인트를 활용해 모델의 실제 추론 능력과 코드 완성도를 직접 실측했다.
11종 과제 42회 전수 검증…플린트 만점과 비교 모델의 탈락
측정은 10월 23일 밤 11시 49분부터 24일 새벽 1시 33분까지 진행됐다. 과제 11종을 조건 14개로 나눠 3번씩 반복 실행했다.
과제는 크게 세 갈래로 구성됐다. 파이썬 함수를 작성하는 과제 8종은 사전에 준비한 숨은 테스트 5~16개를 전원 통과해야 정답으로 인정했다. 원화 금액을 ‘1234억 5678만 9012원’처럼 변환하는 함수나 eval 함수 없이 사칙연산을 수행하는 계산기 모듈 등이다. 재고 원장 과제는 가중평균 단가 산출과 반올림 규칙을 엄격히 준수해야 하는 다소 복잡한 알고리즘이다. 나머지 두 과제는 외부 도구를 호출해야 해결되는 에이전트형(Agentic) 과제다. 9000행에 달하는 로그 파일에서 레벨이 정확히 [ERROR]인 줄을 집계하는 과제와, 웹 접속 로그에서 비정상 공격 IP를 식별하는 과제다.
| 과제 유형 | 플린트 | 젬마 4 26B-A4B | 큐웬3.8-27B |
|---|---|---|---|
| 함수 구현 8종 | 24 | 23/24 | 18/24 |
| 재고 원장(단일 프롬프트) | 3 | 2/3 | 1/3 |
| 재고 원장(3단계 분할) | 3 | 2/3 | 2/3 |
| 로그 집계(상세 지시) | 6 | 6 | 6 |
| 로그 집계(최소 지시) | 6 | 5/6 | 6 |
| 합계 | 42 | 38/42 | 33/42 |
과제 스크립트와 채점기, 원본 응답 로그는 전량 보관 중이다. 채점기는 사전 검증된 기준 정답 코드로 먼저 실행해 9개 과제 모두 만점이 나오는 것을 확인했다. 로그 과제의 기준 정답 502건과 47건은 리눅스 grep 명령어로 교차 검증했다.
경쟁 모델의 실패 요인은 대부분 생각 토큰이 한도에 부딪힌 경우였다. 큐웬은 총 9번 실패했는데 그중 6번은 추론 토큰이 출력 상한인 3만2768개를 모두 소진하고도 최종 코드를 출력하지 못했다. 나머지 3번은 문법 에러, 숫자 파싱 버그, 캐시 참조 결함이었다. 젬마 역시 1번 동일한 추론 상한 초과로 응답이 중단됐다.
다만 이 비교 결과에는 전제 조건이 붙는다.
플린트는 리커시브가 직접 운영하는 단일 서버 클러스터에서 응답했다. 반면 비교 모델들은 오픈라우터 라우팅에 따라 분산 호스팅 서버가 응답했으며, 젬마는 8곳, 큐웬은 11곳의 호스팅 인프라가 혼합됐다. 큐웬이 상한을 넘긴 6번 중 4번이 특정 호스팅 제공자에서 집중 발생했다. 따라서 모델 고유의 순수 체급 차이라기보다는 ‘오픈라우터 기본 설정 호출 환경’에서의 실측치로 해석하는 것이 정확하다.
작업 분할 및 도구 지시 강도에 따른 추론 일관성
리커시브는 플린트 공식 출시 문서를 통해 ‘익숙한 상용 폐쇄형 대형 코딩 모델에 비해 더 명시적인 가이드라인이 필요할 수 있다’고 밝혔다. 이어 ‘복잡한 작업은 작은 하위 작업으로 분할하고 명확한 지시를 제공하라’고 권고했다. 이에 따라 두 가지 실험 조건을 설계해 모델의 한계를 시험했다.
첫째로 재고 원장 과제를 한 번에 지시하는 경우와 세 단계로 분할 지시하는 경우를 대조했다. 플린트는 두 조건 모두 3번씩 완벽하게 정답을 산출했다. 소모된 토큰 총량도 단일 지시 시 1만570~1만3341토큰, 분할 지시 시 합계 1만677~1만3439토큰으로 큰 차이를 보이지 않았다.
둘째로 로그 분석 과제의 프롬프트 지시 강도를 조율했다. ‘반드시 파이썬 도구를 실행해 정확히 계산하고 임의로 어림셈하지 말라’고 명시한 조건과, 도구 존재 여부 및 출력 형식만 간략히 제시한 조건을 대조했다. 플린트는 두 조건 모두 12회 전량 파이썬 스크립트를 자율 생성해 직접 줄 수를 집계했으며, 도구 호출 횟수는 중앙값 기준 각각 4.5회와 5회로 나타났다.
반면 에이전트 툴 개발사 아토믹 에이전트의 자체 측정에서는 상반된 결과가 보고됐다. 로그의 에러 라인을 집계하는 과제에서 플린트가 3번 모두 실패했으며, 실제로 세지 않고 임의의 추정치를 출력했다고 기록했다. 이번 42회 전수 검증에서는 이 같은 환각이나 건너뛰기 현상이 단 한 차례도 발생하지 않았다.
아토믹 에이전트는 자체 프레임워크를 기반으로 RTX 5090에서 4비트 양자화 모델을 올리고 temperature 값을 0.2로 낮춰 측정했다. 실행 엔진과 정밀도, 샘플링 파라미터가 모두 상이하다. 어느 쪽 조건이 개발자 실무 환경에 더 부합하는지는 두 기관의 측정치 대조만으로 단정하기 어렵다.
출력 대비 84% 달하는 생각 토큰…로컬 구동 시 대기 시간의 무게
플린트는 최종 코드를 출력하기 전 매우 긴 생각 과정을 거친다.
함수 과제 24회에서 생성된 총 토큰은 중앙값 4779개였으며, 그중 84%가 내부 추론(Thinking) 토큰에 집중됐다. 반면 최종 완성 코드는 중앙값 658자에 불과했다.
개인 로컬 하드웨어에서 돌릴 경우 이 생각 토큰의 양은 고스란히 개발자의 대기 시간으로 치환된다. 오픈라우터 서버에서 측정한 생성 속도는 중앙값 초당 125토큰으로, 사측이 제시한 M4 프로 맥북 구동 속도와 유사했다. 계산상 4779토큰은 짧은 문맥 기준 약 38초의 대기 시간이 발생한다. 하지만 마인드스튜디오가 M4 맥스에서 실측한 결과를 짚어보면, 3만2000토큰 컨텍스트에서 생성 속도는 초당 32토큰까지 떨어진다. 이 속도를 대입하면 동일한 함수 하나를 얻는 데 2분 30초가 소요된다. 코딩 에이전트는 대화가 누적될수록 컨텍스트가 가파르게 팽창하므로, 실무 체감 지연 시간은 수십 초에서 수 분 사이로 벌어진다.
자체 측정 SWE-Bench Pro v2 89.7%와 분업형 MoE 한정 1위의 실체
리커시브는 플린트가 500억 파라미터 미만 MoE 아키텍처 모델 중 에이전트 코딩 1위라고 발표했다. MoE(전문가 혼합)는 거대한 도서관에서 질문 분야에 맞는 전문 사서만 호출해 답변을 처리하는 분업형 구조다. 전체 파라미터가 메모리에 상주해야 하지만 실제 연산에는 선별된 일부 전문가만 가동된다. 허깅페이스 공식 모델 카드에 명시된 지표는 SWE-Bench Pro v2 89.7%, Terminal-Bench 2.1 54.9%, SWE-Bench Verified 74.2%다.
SWE-Bench Pro 89.7%라는 점수는 단편적 수치만 보면 비현실적으로 높다.
공개된 스케일AI 리더보드 기준 1위 점수는 61.5%에 머문다. 하지만 플린트가 채택한 기준은 최신 개정판인 v2이며 두 버전은 채점 체계가 완전히 다르다. 미러 집계 플랫폼인 벤치LM v2 리더보드에서는 클로드 하이쿠(Claude Haiku) 5.5가 87.2%, 소넷(Sonnet) 5.5가 95.8%를 기록하고 있다. 테크 전문 매체 마크테크포스트 리포트 역시 v2 점수는 리커시브가 비공식적으로 자체 산출한 결과여서 공개 리더보드와 평면 대조할 수 없다고 분석했다. 실제 확인된 v2 미러 리더보드 어디에도 플린트는 아직 등재되지 않았다.
사측이 공개한 벤치마크 차트 내부에서도 플린트가 열세에 놓인 영역이 존재한다. 마크테크포스트가 공개한 제조사 비교표를 분석한 결과, 큐웬 3.8 밀집(Dense) 모델은 Terminal-Bench 2.1에서 73점, SWE-Bench Pro v2에서 94.9점을 획득해 플린트보다 각각 18.1점, 5.2점 앞섰다. 사측이 내세운 ‘1위’는 파라미터를 선별 가동하는 MoE 모델군으로 범위를 좁혔을 때만 유효한 타이틀이다.
4비트 양자화 모델의 성능 손실 폭 역시 전제 조건을 살펴야 한다. 회사는 NVFP4 버전이 16비트 원본 대비 0.7점 이내의 차이에 불과하다고 주장했다. 그러나 사측 차트의 6개 벤치마크 평균치는 원본 80.6점, NVFP4 80점으로 계산된다. 개별 지표를 뜯어보면 Terminal-Bench와 SWE-Bench Pro v2에서 각각 1.2점, IFBench에서 1.1점 격차가 벌어진다. ‘0.7점 이내’는 평균치를 기준으로 뭉뚱그린 설명이다.
오픈소스 코딩 에이전트 오픈핸즈 개발팀은 출시 전 플린트를 사전 검증했다고 밝혔으나 정량 점수는 공개하지 않았다. 현재까지 확인된 제3자 실측 데이터 2건은 모두 자체 솔루션을 판매하는 상용 업체의 측정치다.
단문 구현의 안정성과 장기 다단계 태스크의 미검증 영역
본 테스트에 투입된 42개 과제는 플린트의 추론 역량에 비해 난도가 낮았다.
모든 과제에서 만점이 도출되면, 그보다 복잡하고 긴 엔지니어링 환경에서 모델이 어디까지 버텨낼 수 있는지는 검증할 수 없다. 아토믹 에이전트가 단행한 심층 벤치마크에서 플린트는 단위 테스트 32개가 엮인 복합 패키지 구현 과제를 3번 모두 완수하지 못했다. 통과한 테스트는 25~31개에 그쳤다. 긴 호흡과 다단계 추론을 요구하는 프로젝트 단위 과제에서 명확한 한계를 여실히 드러냈다. 이번 테스트에는 그러한 장기 태스크가 포함되지 않았다.
명확하고 구체적인 요구사항이 주어진 단문 코딩 환경이라면 무료 API 기반의 플린트는 대형 비교 모델보다 뛰어난 결과물 안정성을 입증했다. 다만 수백 개 파일이 얽힌 거대 레포지토리를 통째로 리팩토링하는 장기 엔지니어링 실무에서 상용 모델을 온전히 대체할 수 있을지는 여전히 독립적인 실증 검증이 필요한 미완의 영역이다.
단문 구현의 높은 완성도 뒤에는 장기 다단계 프로젝트의 미검증 영역이 공존한다.
