핵심 요약
AI 요약
기사 목차 펼치기 / 접기
모델은 무료로 내려받아도 실행할 장비까지 무료는 아니다. 16GB 그래픽카드를 이미 갖고 있는지에 따라 로컬 AI의 비용은 달라진다. 공개 평가 점수와 필요한 메모리, 새 장비의 예산을 함께 비교했다.
16GB·32GB에서 갈리는 실행 후보
로컬 AI의 첫 관문은 메모리다. 모델의 가중치는 학습으로 정해진 숫자들의 묶음으로, 실행할 때 장비가 읽어야 한다. 이름에 적힌 파라미터 수만 보고 그래픽카드를 고르면 실제 배포 파일이 들어가지 않을 수 있다.
오픈AI(OpenAI)는 공식 기술 문서에서 gpt-oss-20b의 MXFP4 배포판이 16GB 메모리 안에서 실행된다고 설명한다. 16GB GPU 보유자가 검토할 첫 후보가 되는 이유다. 다만 공식 배포판 대신 다른 변환본을 쓰거나, 문맥을 늘리고 요청을 동시에 처리할 때도 같은 여유가 남는다는 보장은 없다.
오픈소스 커뮤니티 배포판인 젬마(Gemma) 4 12B-it의 Q4_K_M 배포 파일 크기는 7.66GB다. 양자화(Quantization) 기술은 고해상도 원본 사진을 화질 저하 없이 압축하듯, 모델 가중치의 자릿수(정밀도)를 낮춰 저장 용량을 줄이는 압축 기법이다. 파일 외에도 대화 문맥을 실시간으로 기억하기 위해 책상 위에 펼쳐두는 메모장과 같은 KV 캐시(Key-Value Cache)와 연산 공간이 별도로 필요하므로, 파일 크기를 실행 메모리 전체로 오독해서는 안 된다.
동일 변환자가 배포한 큐웬3.8-27B(Qwen3.8-27B)의 Q4_K_M 변환본은 17.44GB에 달한다. 이 파일을 16GB VRAM에 전부 올리는 구성은 어렵다. 일반 RAM과 GPU를 나눠 쓰는 경로도 있지만 그때의 속도는 별도로 확인할 대상이다.
네모트론 3.5 볼트(Nemotron 3.5 Bolt)의 공식 허깅페이스 저장소에서는 32GB 이상 외장 GPU에 동시 요청 1건, 문맥 6만5536토큰의 구성을 제시한다. 제품명의 ’24GB’를 외장 GPU 최소 사양으로 받아들이면 선택이 어긋난다. 모델과 함께 쓰는 부가 파일, 캐시 설정까지 같은 조건으로 비교해야 한다.
공개 모델을 고르는 일은 실행할 배포판을 고르는 일부터 시작된다.
공개 평가 점수로 본 모델의 차이
실행 후보를 추렸다면 추가 메모리로 얻을 능력을 볼 차례다. 아티피셜 애널리시스(Artificial Analysis)의 공개 평가를 활용했다. 이하 AA로 줄여 쓰며, 자료 확인일은 2026년 10월 16일이다.
비교 대상 모델들은 AA 인텔리전스 지수(Intelligence Index) v4.3.2 기준으로 평가됐다. 표의 값은 여러 평가를 묶은 지수이며, 정답률을 나타내는 백분율이 아니다. 추론 강도 설정도 함께 적어 같은 이름의 다른 실행 모드를 섞지 않았다.
이 비교에서 큐웬의 공개 지수가 높지만 더 큰 지출이 곧바로 정당화되지는 않는다. high와 xhigh는 모델별 설정명으로, 같은 계산량을 뜻하지 않는다. AA가 평가한 정밀도와 로컬 Q4_K_M의 일치 여부도 이번 조사에서 확인하지 못했다. 따라서 지수 차이를 구매할 장비에서 얻을 품질 차이로 환산할 수는 없다.
젬마의 14에는 ‘Estimated’ 표시가 붙어 있다. 독립 실측과 같은 순위에 넣기 어려운 값이다. 한국어 문서 요약이나 정보 추출의 성공률도 이 종합 지수 하나로 대신할 수 없다.
“모델은 무료로 내려받을 수 있지만, 그 모델을 구동할 하드웨어 장비와 전력 비용까지 무료는 아니다.”
RTX·맥·DGX의 구매비와 재고
장비를 새로 산다면 GPU 가격 외의 지출을 포함해야 한다. 일반 RAM·SSD·전원 공급장치와 운영체제가 전체 가격을 바꾼다. 아래 표는 장비가 없는 사람이 새로 구매하는 경우의 예산이다. 이미 같은 장비를 보유한 독자는 이번 모델 도입에 추가로 드는 지출을 따로 계산해야 한다.
아래는 확인한 구성의 가격 예시다. 동일 성능을 확보한 최저 견적이 아니며, 모니터와 주변기기는 제외했다. 특정 결제 수단의 할인 대신 표시 가격을 사용했다.
여기서 맥 스튜디오를 맥(Mac)의 최소 구매비로 읽으면 안 된다. 맥 미니(Mac mini)는 필요한 메모리·저장장치까지 선택한 확정 총액을 확보하지 못해 가격표에서 제외했다. RTX 5090 행도 EPYC CPU를 탑재한 고가 구성으로, 일반 윈도우(Windows) PC 전체의 대표 가격이 아니다.
표시 가격은 재고의 증거가 아니다.
실구매 시점의 견적과 납기 변동성을 감안해야 한다. 아울러 PC의 일반 RAM과 GPU의 VRAM, 그리고 맥이 CPU와 GPU 간 데이터를 한 식탁에서 공유하는 통합 메모리(Unified Memory) 풀의 용량도 같은 잣대로 합산할 수 없다.
하루 두 시간과 상시 운영의 예산
전력은 실제 측정값 대신 공통 가정으로 계산했다. GPU만의 정격 전력이나 전원 공급장치의 표기 용량과 구분해, 전체 시스템의 평균 전력을 정하고 월 60시간과 720시간을 비교했다. 하루 두 시간에 해당하는 60시간 조건은 나머지 시간의 전원을 끈 경우다. 720시간 조건은 30일 동안 같은 평균 전력을 사용하는 시나리오로 잡았다.
장비 대금은 잔존가치 없이 36개월로 나눴다. 전기 단가는 kWh당 200원으로 가정했으며, 실제 계약 요금이나 한전의 확정 단가가 아니다. 월 전기료는 평균 W를 1000으로 나눈 뒤, 가동시간과 가정 단가를 곱했다. 표의 월 비용은 자체 계산한 비교용 배분액으로 실제 월 납부액과는 다르다.
월 60시간 가정에서 전기료는 1440~7800원이다. 장비 대금의 월 배분액은 약 8만1806~37만8944원으로 더 크다. 가끔 사용하는 신규 구매자라면 전기료 절감보다 장비를 얼마나 자주 활용할지가 비용을 크게 바꾼다.
가정을 바꾸면 전기료도 달라진다. 예를 들어 RTX 5060 Ti PC를 평균 150~300W, 단가를 150~300원으로 놓으면 월 60시간 전기료는 1350~5400원이다. 이 범위는 실측 오차나 통계적 신뢰구간이 아니다.
이 합계를 완전한 총운영비로 부를 수는 없다. 설치·관리 인건비와 수리·냉각·금융비용은 빠져 있다. 더구나 가동시간이 같아도 처리한 작업 수와 결과를 수정하는 시간은 다르므로, 이 표는 같은 처리량과 품질을 확보한 비용 순위가 아니다.
공개 지수 높은 모델의 역설… 실측 속도가 가르는 실익
로컬 실행 속도를 함께 보면 모델 선택의 순서는 다시 달라질 수 있다.
엔비디아(Nvidia)는 자체 연구소 벤치마크 보고서에서 서피스 랩탑 울트라 128GB 장비와 윈도우 11 ARM, 라마씨피피(llama.cpp) 환경의 실측 결과를 공개했다. 같은 시험의 생성 속도는 볼트가 초당 83.99토큰, 큐웬3.8-27B가 28.26토큰이었다. 젬마 4 26B-A4B는 100.56토큰으로, 볼트보다 빠르게 나왔다.
다만 이 젬마는 입문 후보인 12B와 다른 모델이다. 양자화 형식과 다음 토큰을 미리 제안하는 추측 생성 기법도, 모델별로 차이가 있다. 결과는 해당 실행 조합의 비교로 읽어야 하며, 모든 장비에서 같은 속도 순서가 나온다는 근거는 아니다.
시험 이름에 AA-AgentPerf가 들어가도, 측정 주체는 엔비디아다.
AA의 API 벤치마크 측정 방식 역시 클라우드 제공업체 서버 성능을 측정한 것으로, 네트워크 지연과 입력 길이에 직접 영향을 받는다. 그 속도를 RTX PC나 맥에 옮겨 가정 전력과 곱하는 방식으로 토큰당 전기료를 만들 수 없다. 공개 지수가 높은 모델을 골라도 로컬 양자화판의 대기시간은 별도 확인 항목으로 남는다.
보유 장비와 예산별 선택
16GB GPU를 이미 보유했다면 gpt-oss-20b와 젬마 12B를 시작 후보로 남길 근거가 있다. 새 장비 대금을 들이지 않고 실행을 검토할 수 있기 때문이다. 젬마의 평가는 추정이며, 두 모델의 실제 한국어 업무 품질까지 입증된 것은 아니다.
상위 메모리에 투자하려는 사용자는 큐웬과 볼트를 비교할 수 있다. 큐웬은 이번 공개 지수에서 높은 후보이고, 볼트는 외장 GPU용 실행 구성을 개발사가 제시한다. 공개 점수·배포 형식·장비 예산을 따로 확인할 때 추가 지출의 목적도 분명해진다.
대형 모델을 위해 128GB급 장비를 고려한다면 저장 공간뿐 아니라 실행 도구와 문맥 설정까지 확인할 차례다. 공유 메모리의 총량만으로 모든 모델의 실행 성공을 보장할 수 없다. 가끔 요약하는 용도라면 새 장비를 사는 선택과 기존 장비를 활용하는 선택의 비용부터 달라진다.
볼트의 공개 지수 21이 구매할 양자화판에서 그대로 유지되는지까지는 이번에 확인한 자료로 연결되지 않았다.
