핵심 요약
AI 요약
기사 목차 펼치기 / 접기
코드를 회사 밖으로 내보낼 수 없는데 코딩 AI는 쓰고 싶다면 남는 길은 하나다. 모델을 내 컴퓨터에서 돌리는 것이다.
이 글은 그때 어떤 기계를 사야 하는지 고르는 글이다. 후보는 애플(Apple) 맥미니(Mac mini), 엔비디아(Nvidia) DGX 스파크(DGX Spark), 일반 PC에 꽂는 지포스(GeForce) 그래픽카드다. 본지의 오픈웨이트 코딩 모델 실측 비교에서 성능을 견준 오픈웨이트(open-weights) 세 모델, 리커시브(Recursive)의 플린트(Flint)와 뮤즈 글리머 30B, 큐웬3.8-27B를 기준으로 삼았다.
그 결과를 짧게 옮기면 이렇다. 버그를 심은 라이브러리를 고치는 일에서는 플린트가 오픈웨이트 중 가장 믿을 만했고, 도구를 여러 번 쓰는 에이전트 작업은 글리머가 앞섰다. 그래서 이 글은 플린트를 중심에 두고, 글리머와 큐웬은 비교 대상으로 다룬다.
첫 관문은 메모리 용량이다
모델이 메모리에 다 들어가지 않으면 속도를 따질 수 없다. 필요한 메모리는 모델 파일 크기에, 대화가 길어질수록 커지는 작업 메모리(KV 캐시)를 더한 값이다.
| 모델 | 4비트 파일 | 작업 메모리 3만2000토큰 | 작업 메모리 12만8000토큰 |
|---|---|---|---|
| 플린트 | 22.6~25.4GB | 0.9GiB | 3.5GiB |
| 뮤즈 글리머 30B | 16.8GB | 0.4GiB | 1.6GiB |
| 큐웬3.8-27B | 19GB | 2GiB | 8GiB |
파일 크기는 허깅페이스(Hugging Face)에 올라온 플린트 공식 MLX판과 커뮤니티 GGUF판, 글리머 공식 GGUF판, 큐웬 GGUF판을 직접 확인했다. 작업 메모리는 각 모델 설정 파일의 층 구성으로 본지가 계산한 값이다. 큐웬은 하드웨어코너의 실제 사용량 실측치이 12만8000토큰에서 26GB로, 계산과 비슷했다.
플린트는 셋 중 가장 크다. 리커시브의 맥 전용 실행기 rec는 M4 프로·M5 프로·M5 맥스 칩과 CPU·GPU가 단일 메모리 풀을 직접 공유하는 통합 메모리 48GB 이상을 요구한다. 본지 계산으로는 4비트 파일에 최대 컨텍스트 26만2144토큰의 작업 메모리 7GiB를 더하면 33GB 안팎이다. 실제로 에이전트 도구 개발사 아토믹 에이전트(Atomic Agent)는 그래픽 메모리 32GB인 RTX 5090에서 13만1072토큰 설정으로 플린트를 돌려 27.4GB 사용량을 기록했다.
32GB 기계는 경계에 선다.
운영체제와 다른 프로그램이 쓰는 몫까지 빼면 여유가 거의 없다. 32GB 맥미니에서 플린트를 돌린 공개 측정은 본지가 찾지 못했다.
같은 기계에서 플린트가 더 빠른 이유
메모리에 들어간 다음에는 속도가 문제다. 여기서 플린트와 나머지 두 모델이 갈린다. AI가 글을 만드는 단위인 토큰(token)을 하나 만들 때마다 모델은 가중치를 메모리에서 읽어 온다. 애플 머신러닝 연구진은 토큰 생성 단계의 속도가 메모리 대역폭에 직접 묶여 있다고 설명했다. 글리머와 큐웬 같은 밀집(dense) 모델은 토큰마다 17~19GB를 통째로 읽는다. 반면 플린트는 도서관 전체 서가 중 필요한 전문 사서만 호출해 분업하는 전문가 혼합(MoE) 아키텍처다. 메모리에는 전체 파라미터가 상주해야 하지만, 공식 모델 명세 기준 총 398억개 파라미터 중 토큰마다 약 25억개만 선별해 활성화한다. 4비트 기준으로 토큰마다 읽는 양은 1.4GB 안팎이라고 본지는 계산했다.
| 기계 | 플린트 | 뮤즈 글리머 30B | 큐웬3.8-27B |
|---|---|---|---|
| RTX 5090 | 145.7 | 83.2 | 74.8 |
| M5 프로 48GB 맥북 프로 | 92(llama.cpp)~145(rec) | 측정 없음 | 30(MTP 켬) |
| DGX 스파크급(GB10) | 측정 없음 | 12.8 | 12.2 |
단위는 초당 생성 토큰 수로 적었다. 표에 명시된 RTX 5090의 플린트 수치는 최대 컨텍스트 조건에서 아토믹 에이전트가 집계한 평균 생성 속도다. 글리머와 큐웬의 RTX 5090·GB10 값은 하드웨어코너가 4000토큰 컨텍스트에서 글리머와 큐웬을 잰 값이다. 맥북 프로 값은 자체 추론 엔진을 공급하는 카피차(Kapitsa)의 4000토큰 프롬프트 실측 결과다.다. 큐웬 값은 다음 토큰을 미리 예측하는 MTP 기능을 켜고 쟀다. 측정 주체와 조건이 달라 같은 줄의 숫자를 정밀하게 견줄 수는 없다.
그래도 방향은 분명하다.
대역폭이 273GB/s인 DGX 스파크급 기계에서 밀집 모델 두 개는 초당 12토큰대에 머물렀다. 반면 플린트는 대역폭 307GB/s인 M5 프로 칩에서 초당 92~145토큰을 냈다. 플린트라면 대역폭이 낮은 기계로도 쓸 만한 속도가 나오고, 밀집 모델은 대역폭이 곧 속도다.
프롬프트 처리 속도…맥락 읽기 성능의 격차
코딩 에이전트는 답을 쓰기 전에 파일과 대화 기록을 먼저 읽는다. 이 읽기 속도(프롬프트 처리)는 그래픽카드가 크게 앞선다. 플린트의 프롬프트 처리 속도는 RTX 5090이 초당 3433토큰(13만1072토큰 설정), M5 프로 맥북 프로가 llama.cpp 기준 초당 2072토큰(4000토큰 프롬프트)이었다. 같은 측정에서 한 세대 전 M4 프로는 초당 977토큰이었다. 4000토큰에서 잰 속도가 그대로 유지된다고 치면, 2만토큰짜리 맥락을 처음 읽힐 때 M5 프로는 약 10초, M4 프로는 약 20초가 걸린다. 맥락이 길어지면 읽기 속도는 대체로 떨어진다.
글리머는 차이가 더 크다. 하드웨어코너 측정에서 RTX 5090은 12만8000토큰에서도 초당 2807토큰을 읽었고, GB10 기계는 초당 699토큰이었다.
맥미니·DGX 스파크·RTX 5090 값은 얼마인가
| 기계 | 메모리 | 대역폭 | 국내가 | 최대 전력 |
|---|---|---|---|---|
| 맥미니 M6 | 32GB | 170GB/s | 217만9000원 | 70W |
| 맥미니 M5 프로 | 48GB | 307GB/s | 401만원 | 145W |
| 맥미니 M5 프로 | 64GB | 307GB/s | 469만원 | 145W |
| DGX 스파크 | 128GB | 273GB/s | 950만~1100만원대 | 전원 240W |
| RTX 5090(카드만) | 32GB | 1.79TB/s | 986만9550원부터 | 카드 575W |
맥미니 값은 10월 22일 애플 온라인 스토어 구성 화면에서 확인했다. 대역폭은 애플 사양 페이지, 최대 전력은 애플이 같은 칩 구성으로 잰 벽면 측정값이다. DGX 스파크는 엔비디아 제품 페이지에서 사양을 확인했고, 값은 10월 26일 다나와 검색 결과의 엔비디아코리아 정품 1100만원과 같은 칩을 쓴 에이수스(ASUS) 제품 950만원을 함께 적었다.
그래픽카드는 다나와 최저가 기준이다. RTX 5090은 출시가가 1999달러(약 264만원)였는데, 지금 국내 최저가는 그 세 배를 넘는다. 이 표의 그래픽카드 값에는 본체, 메모리, 전원 장치 값이 빠져 있다.
리커시브 공식 발표에서 “64GB RTX 스파크에서 초당 150토큰 이상”이라고 밝힌 RTX 스파크(RTX Spark)는 엔비디아가 공개한 컴퓨텍스 2026 발표 자료에 따르면으로, 통합 메모리를 최대 128GB까지 단다. 국내에는 64GB 노트북 한 제품이 729만9000원에 올라 있다. 이 기계에서 플린트를 잰 독립 측정은 아직 없다.
모델별로 고르면
플린트가 목적이라면 맥미니 M5 프로 48GB가 기준선이다.
리커시브가 요구한 메모리와 칩을 모두 충족하는 가장 싼 공식 경로이고, 같은 칩을 쓴 맥북 프로에서 초당 92~145토큰이 나왔다. 최대 전력도 145W다.
RTX 5090은 같은 플린트를 비슷하거나 더 빠른 속도로 돌리고, 읽기 속도도 앞선다. 하지만 카드값만 맥미니 48GB의 2.5배다. 이미 고성능 PC가 있고 글리머나 큐웬 같은 밀집 모델도 함께 돌릴 사람에게 맞는다. 밀집 모델에서는 RTX 5090이 GB10 기계보다 6배 넘게 빨랐다.
DGX 스파크는 128GB라는 넉넉한 메모리가 장점이지만, 이번 세 모델은 48GB 안에 들어간다. 밀집 모델은 초당 12토큰대로 느렸고, 플린트 측정은 없다. 이 세 모델만 돌리려고 1000만원을 쓸 이유는 찾지 못했다.
32GB 맥미니 M6은 217만9000원으로 가장 싸다. 글리머는 들어가지만 대역폭 170GB/s에서 밀집 모델의 생성 속도는 크게 떨어진다. 플린트는 리커시브의 맥 전용 실행기가 이 칩을 지원하지 않고, 메모리 여유도 거의 없다.
언제 사지 말아야 하나
코드를 외부 API로 보낼 수 있다면 기계를 살 이유가 약하다. 본지 비교 실측에서 클로드 하이쿠(Claude Haiku) 5.5는 27번 중 25번 성공했고, 성공 1건당 API 비용은 약 11원이었다. 맥미니 M5 프로 48GB 값 401만원이면 하이쿠 5.5로 성공 약 35만건을 살 수 있다는 계산이 나온다. 플린트의 성공률은 51.9%였다.
로컬 기계를 고르는 이유는 값이 아니라 코드가 밖으로 나가지 않는다는 데 있다.
그 조건이 없다면 본지 실측에서는 API 쪽이 더 정확했다.
