핵심 요약
AI 요약
기사 목차 펼치기 / 접기
내 컴퓨터에서 돌릴 코딩 AI 후보로 본지는 세 모델을 견줬다. 리커시브(Recursive)의 플린트(Flint), 알리바바(Alibaba)의 큐웬(Qwen)3.8-27B, 메타(Meta)의 뮤즈 글리머(Muse Glimmer) 30B다. 셋 다 내려받아 직접 돌리는 오픈웨이트(open-weights) 모델이다.
이 글은 그 셋 가운데 무엇을 어떤 일에 쓸지 고르는 글이다. 유료 API로 부르는 소형 상용 모델을 대신할 수 있는지도 함께 쟀다. 본지 첫 실측에서 플린트는 과제 42개를 모두 맞혔지만, 과제가 짧아 변별력이 없었다는 한계도 같이 적었다. 이번에는 과제를 어렵게 바꿔 다시 돌렸다.
본지가 과제를 바꿔 다시 돌려보니
짧은 과제의 만점은 실무의 실력을 보증하지 못했다.
측정은 10월 26일 오후 2시 47분부터 5시 39분까지 했다. 과제 9종을 모델마다 3번씩 냈고, 숨겨 둔 테스트를 전부 통과해야 성공으로 쳤다.
과제는 세 묶음이다. 첫째는 명세가 까다로운 구현 5종이다. cron 일정의 다음 실행 시각 계산, JSON 문서 수정 규격(RFC 6902) 구현, 2만줄 파일을 2초 안에 비교하는 diff, 작은 리스프(Lisp) 해석기, 받침에 맞춰 조사를 붙이는 함수다.
둘째는 기존 코드베이스의 결함을 찾아내는 라이브러리 수리 과제다. 파이썬 패키지 버전 처리 라이브러리 packaging 26.3의 소스 10개 파일, 18만자 남짓에 버그 3개를 심고 증상 보고서만 줬다. 표준 TOML 파서 사본에 버그 3개를 심어 도구로 직접 찾게 한 과제도 이 묶음에 넣었다.
셋째는 도구를 여러 번 쓰는 에이전트(agent) 과제다. 명세서만 보고 설정 파일 파서 패키지를 짜는 일, 주문 2815행에서 9월 순매출을 원 단위까지 계산하는 일이다. 매출 과제에는 중복 행, 시간대 경계, 100엔 단위 환율 같은 함정을 넣었다.
모든 과제는 본지가 짠 정답 코드로 먼저 만점이 나오는 것을 확인했다. 매출 정답 3억2832만4288원은 다른 방식으로 한 번 더 계산해 맞췄다. 첫 실측에서는 비교 모델의 제공자가 호출마다 바뀌어 결과가 흔들렸기 때문에, 이번에는 오픈웨이트 세 모델을 원본 정밀도 제공자 한 곳에 묶었다.
결과…플린트 51.9%, 하이쿠 5.5는 92.6%
| 모델 | 명세 구현(15) | 코드 수리(6) | 에이전트(6) | 합계(27) | 통과율 |
|---|---|---|---|---|---|
| 플린트 | 6 | 6 | 2 | 14 | 51.9% |
| 뮤즈 글리머 30B | 5 | 3 | 5 | 13 | 48.1% |
| 큐웬3.8-27B | 4 | 5 | 3 | 12 | 44.4% |
| 젬마 4 26B-A4B | 4 | 0 | 2 | 6 | 22.2% |
| 클로드 하이쿠 5.5 | 14 | 6 | 5 | 25 | 92.6% |
| GPT-6 루나 | 11 | 5 | 3 | 19 | 70.4% |
첫 실측에서 42번 다 맞힌 플린트는 이번에 27번 중 14번 성공했다. 구글(Google) 젬마 4를 빼면 오픈웨이트 세 모델은 12~14번 사이에 몰렸다. 1~2번 차이는 3회 반복으로 우열을 가를 만한 폭이 아니다. 참고로 1번씩 돌린 클로드 소넷 5.5는 9개 과제를 모두 통과했고, 제미나이 3.8 플래시는 5개를 통과했다.
플린트와 큐웬·뮤즈는 어디서 갈리나
차이는 남의 코드를 고칠 때 났다.
packaging 수리 과제에서 플린트는 3번 모두 버그 3개를 다 찾아 고쳤다. 큐웬3.8-27B는 2번, 뮤즈 글리머 30B와 젬마 4는 0번이었다. 글리머와 젬마는 패키지 이름 정규화 함수에 심은 세 번째 버그를 한 번도 고치지 못했다. 이 버그는 증상이 나타나는 파일과 원인이 있는 파일이 달라, 호출 경로를 따라가야 찾을 수 있다.
TOML 파서 수리까지 합친 6번에서 오픈웨이트 중 전부 성공한 모델은 플린트뿐이다. 큐웬이 5번, 글리머가 3번으로 뒤를 이었다. 반대로 도구를 여러 번 쓰는 일은 글리머가 앞섰다. 에이전트 과제와 TOML 수리를 합친 9번 가운데 글리머는 8번, 큐웬은 6번, 플린트는 5번 성공했다.
플린트는 어디서 막혔나
복잡한 명세 앞에서 오픈웨이트의 한계는 뚜렷했다.
명세 구현에서 플린트는 15번 중 6번만 통과했다. cron 과제에서는 3번 모두 떨어졌다. 명세는 */2처럼 별표로 시작하는 날짜 필드도 거르는 조건으로 쓰라고 적었는데, 플린트는 2번이나 이를 “제한 없음”으로 처리했다. 테스트 91개 중 79개만 통과했다. 리커시브가 블로그에서 인정한 약점과 같은 방향이다. 회사는 플린트가 “익숙한 대형 비공개 코딩 모델보다 지시를 더 필요로 할 수 있다”(it may need more guidance than the larger closed-source coding models you’re used to)고 적었다.
리스프 해석기는 오픈웨이트 네 모델 모두 한 번도 통과하지 못했다. 플린트는 한 번은 출력 상한 3만2768토큰을 생각하는 데 다 써서 코드를 내지 못했다.
설정 파일 파서 과제에서는 본지 실행 환경의 응답 길이 제한이 결과를 갈랐다. 플린트는 3번 모두 첫 턴에 패키지 전체를 한 번에 쓰려다 1턴 상한 1만6384토큰에서 잘렸다. 본지는 이렇게 잘린 실행 7건만 상한을 3만2768토큰으로 올려 다시 돌렸다. 플린트는 3회 반복 시험에서 테스트 43개 중 1·2차 42개, 3차 43개를 각각 통과했다. 같은 이유로 잘렸던 하이쿠 5.5와 큐웬은 43개를 다 통과했고, 젬마 4와 제미나이 3.8 플래시는 다시 돌려도 실패했다.
플린트를 코딩 도구에 붙인다면 한 번에 내는 응답 길이 상한을 넉넉히 잡아 두는 편이 낫다.
하이쿠 5.5·GPT-6 루나와는 얼마나 차이 나나
성능 격차는 컸지만, 비용 계산서는 정반대였다.
클로드 하이쿠 5.5는 27번 중 25번, GPT-6 루나는 19번 성공해 플린트와 격차가 컸다. 두 모델 평균 81.5%와 플린트 51.9%는 29.6%p 차이다.
하이쿠 5.5는 오픈웨이트 넷이 모두 실패한 리스프 해석기를 2번 통과했고, 루나는 3번 다 통과했다. 명세 구현 15번에서 하이쿠 5.5는 14번, 루나는 11번 성공했다.
비용 차이는 반대 방향이다. 오픈라우터 청구액으로 계산한 성공 1건당 비용은 루나가 0.005달러(약 7원), 하이쿠 5.5가 0.0086달러(약 11원)였다. 원본 정밀도 제공자로 묶은 큐웬은 0.1625달러(약 215원)였다.
플린트는 무료 엔드포인트라 0원이지만, 이 무료 경로는 하루 호출 한도가 있다. 모델 페이지에는 리커시브가 입력한 코드를 어떻게 기록하고 쓰는지도 적혀 있지 않다. 코드를 밖으로 보낼 수 없어 로컬로 돌린다면 장비값과 전기료가 그 자리를 채운다.
이 모델들을 내 컴퓨터에서 직접 돌리는 데 필요한 하드웨어 사양과 기종별 가격 실측은 본지의 로컬 구동 하드웨어 가이드를 참고할 수 있다.
잣대를 바꾸면 순위가 바뀐다
채점 잣대에 따라 오픈웨이트 삼파전의 순위표가 뒤흔들렸다.
전부 맞혀야 성공으로 치는 기준 대신 통과한 테스트 비율로 점수를 매기면 순서가 달라진다.
| 모델 | 부분 점수(100점) |
|---|---|
| GPT-6 루나 | 95.5 |
| 클로드 하이쿠 5.5 | 93.8 |
| 뮤즈 글리머 30B | 77.1 |
| 플린트 | 67.8 |
| 큐웬3.8-27B | 66.2 |
| 젬마 4 26B-A4B | 52.5 |
글리머는 테스트 대부분을 맞히고 몇 개만 놓친 실행이 많았고, cron 과제에서는 3번 중 2번이 91개 중 88개였다. 플린트는 출력이 잘려 0점 처리된 실행이 점수를 끌어내렸고, 잘린 3번을 다시 돌린 결과로 바꾸면 78.8점이 된다. 하이쿠 5.5와 루나도 이 잣대에서는 순서가 뒤집힌다.
오픈웨이트 세 모델 가운데 누가 낫다는 판정은 잣대에 따라 달라진다. 코드 수리에서 플린트가 앞섰다는 결과는 어느 잣대로 재도 남는다. packaging 버그 9개를 플린트는 9개 다 고쳤고 글리머는 5개를 고쳤다.
작업 성격별 추천
남이 짠 큰 코드에서 버그를 찾아 고치는 일이 주 업무이고, 코드를 외부 API로 보낼 수 없다면 오픈웨이트 가운데 플린트가 가장 믿을 만했다.
파일을 읽고 쓰고 실행을 반복하는 에이전트 작업이 중심이라면 글리머가 더 안정적이었다.
명세를 꼼꼼히 지켜야 하는 새 기능 구현은 세 오픈웨이트 모두 절반을 넘기지 못했다. 이 일은 아직 하이쿠 5.5나 루나에 맡기는 쪽이 싸고 정확하다.
