[플린트 가이드①] 내 PC에 직접 설치하는 코딩 AI…오픈소스 플린트의 정체와 구동 조건

클라우드 API 요금과 사내 코드 유출 위험 없이 개인 PC에서 곧장 구동할 수 있는 고성능 로컬 코딩 모델의 실체가 공개됐다. AI 스타트업 리커시브(Recursive)가 선보인 오픈웨이트 코딩 모델 ‘플린트(Flint)’는 원격 데이터센터 서버 대신 엔지니어의 로컬 장비 위에서 직접 돌아가도록 설계된 경량화 시스템이다. 모델 가중치는 누구나 무료로 내려받을 수 있으며 상업적 이용까지 완전히 허용된다.

엔지니어가 가장 먼저 던지는 질문은 명확하다. 플린트가 구체적으로 어떤 구조의 모델이며, 내가 보유한 PC나 맥에서 실제로 구동할 수 있는지다. 회사 발표 자료와 허깅페이스(Hugging Face) 배포 파일, 독립 제3자 벤치마크 데이터를 대조하고 세부 메모리 점유량을 직접 역산하여 두 질문에 대한 현실적 답을 도출했다. 모델에 실제 개발 과제를 맡겨 성능을 측정한 실전 결과는 2편 분석 기사에서 집중적으로 다룬다.

초지능 지향 46억달러 스타트업, 리커시브의 개발 궤적

AI 기업 리커시브 슈퍼인텔리전스(Recursive Superintelligence)는 지난 5월 6억5000만달러(약 8610억원)에 달하는 대규모 초기 투자를 유치하며 공식 출범했다. 당시 평가받은 기업가치는 46억5000만달러(약 6조1600억원)였다. 구글(Google)의 벤처투자 조직 GV와 그레이크로프트(Greycroft)가 라운드를 주도했으며, 반도체 기업 엔비디아(Nvidia)와 AMD도 전략적 투자자로 참여했다.

최고경영자(CEO)는 세일즈포스(Salesforce) 수석과학자를 지낸 리처드 소셔(Richard Socher)다. 공동창업자 팀 로크타셸(Tim Rocktäschel)은 유니버시티칼리지런던(UCL) AI 교수이자 구글 딥마인드(Google DeepMind) 출신 연구자다. 영국 런던에 법인을 두고 미국 샌프란시스코에도 거점을 운영 중이며, 출범 당시 사내 인력은 30명 미만이었다.

회사 사명은 궁극적인 개발 비전에서 비롯됐다. 리커시브는 공식 발표에서 지식 발견을 자동화하는 초지능을 구축하는 것이 궁극적 목표라고 설명했다. 아울러 사내 자동 연구 시스템인 ‘유레카 머신(Eureka Machine)’이 플린트 개발 전 과정에 깊숙이 관여했으며, 소규모 개발팀과 에이전트 협업을 통해 4개월 만에 모델을 완성했다고 덧붙였다. 다만 이 같은 자체 개발 주장의 세부 내역은 아직 외부에서 독립적으로 교차 검증되지는 않았다.

398억 파라미터 MoE 기반 로컬 코딩 모델의 실체

리커시브는 플린트를 ‘개인 장비 위에서 구동할 수 있는 일상 코딩 모델’로 정의했다. 소스코드를 실시간으로 분석해 버그를 수정하고 터미널 명령을 자율 실행하는 코딩 에이전트의 두뇌 역할을 맡는다. 인터넷 연결이 차단된 폐쇄망에서도 독립 작동할 수 있고, 지적재산권인 소스코드가 외부 클라우드로 유출되지 않으며, 호출량에 비례하는 API 요금이 발생하지 않는다는 점이 핵심 경쟁력이다.

실제 생태계 내 활용 현황은 오픈라우터(OpenRouter) 통계에서 뚜렷이 확인된다. 오픈라우터의 플린트 페이지 기준 앱별 사용량 1위는 코딩 에이전트 킬로 코드(Kilo Code)로 76억4000만토큰을 기록했다. 헤르메스 에이전트(Hermes Agent)와 클라인(Cline)이 그 뒤를 이었다.

플린트의 전체 파라미터 규모는 398억개(39.8B)에 달하지만, 글자 하나를 추론할 때 활성화되는 파라미터는 약 25억개(2.5B) 수준이다. 이는 질문이 들어올 때마다 전체 신경망 대신 특정 영역만 호출하는 전문가 혼합(MoE) 아키텍처를 채택했기 때문이다. 마치 대형 종합병원에서 모든 의료진이 한 환자에게 매달리는 대신, 내과·외과·정형외과 전문의 중 해당 증상에 필요한 소수 전문의만 진료실로 호출해 처방을 내리는 분업 원리와 닮았다. 각 층에 배치된 256개 전문가 회로 중 6개와 항상 가동되는 공유 전문가 1개가 조합되어 연산을 수행한다. 입력과 출력을 합쳐 한 번에 처리할 수 있는 최대 컨텍스트 창은 26만2144토큰이며, 학습 지식 기준일은 2026년 6월이다. 라이선스는 상업적 수정과 배포가 자유로운 아파치 2.0(Apache 2.0)이다.

리커시브가 공식 배포한 모델 파일은 4가지 규격으로 나뉜다.

해당 용량은 허깅페이스 저장소에 등록된 실제 파일 크기다. 동일한 4비트 양자화 모델임에도 GGUF 버전이 3GB 이상 큰 이유에 대해 개발사는 임베딩 레이어 등 특정 텐서를 32비트 고정밀도 원형대로 유지했기 때문이라고 설명했다.

26만 컨텍스트 완개 기준 48GB…작업 메모리 최적화 시 28GB 진입

공식 문서에서 리커시브는 맥의 경우 CPU와 GPU가 단일 풀을 공유하는 통합 메모리 48GB 이상, 엔비디아 GPU의 경우 VRAM 48GB 이상을 권장 사양으로 제시했다. 하지만 실제 내려받는 가중치 파일 용량은 22~26GB에 불과하다. 나머지 20GB 이상의 메모리가 어디에 쓰이는지는 공식 실행 가이드에 숨겨져 있다. 두 README 문서 모두 26만2144토큰 전체를 개방하는 설정을 기본 명령으로 안내하며, ‘작업 메모리를 줄여야 할 때만 컨텍스트를 낮추라’고 부연했다.

KV 캐시(Key-Value Cache)는 모델이 앞서 읽어 들인 대화 기록과 코드 맥락을 잊지 않기 위해 책상 위에 실시간으로 펼쳐두는 메모장과 같은 작업 공간이다. 문맥이 길어질수록 캐시의 크기는 기하급수적으로 불어난다. 모델 구조를 토대로 메모리 소요량을 역산한 결과, 전체 49개 층 가운데 35개 층은 최근 513토큰만 보관하는 슬라이딩 윈도우 방식을 적용해 메모리 점유가 극히 미미하다. 문맥 전체 길이에 비례해 캐시를 적재하는 층은 14개뿐이며, 토큰 1개당 약 2만8672바이트의 메모리가 소요된다.

최대치인 26만토큰을 온전히 열어도 모델과 캐시가 순수하게 점유하는 메모리는 33.5GB에 그친다.

공식 가이드가 요구하는 48GB는 이 기본 점유량에 연산용 버퍼와 운영체제(OS)의 상주 공간을 보수적으로 더한 여유치로 분석된다.

이 계산의 실효성은 독립 측정 기관의 실측 결과와도 정확히 부합한다. 실제 에이전트 개발사 아토믹 에이전트의 벤치마크는 RTX 5090 32GB 단일 카드 환경에 25.1GB 크기의 4비트 모델을 올리고 13만1072토큰 컨텍스트를 할당했을 때 GPU 메모리 27.4GB가 소모됐다고 밝혔다. 모델 파일 25.1GB에 13만토큰 KV 캐시 3.8GB를 더한 28.9GB(약 26.9GiB) 계산과 거의 일치하는 수치다.

맥 진영 M5 프로 48GB 출발선…M6 맥미니는 비공식 우회로

애플 실리콘 환경에서 플린트를 구동하는 공식 경로는 자체 전용 엔진인 rec와 오픈소스 라마씨피피(llama.cpp) 두 가지다.

자체 엔진 rec 깃허브 저장소는 M4 프로, M5 프로, M5 맥스 프로세서와 통합 메모리 48GB 이상을 필수 요건으로 지정했다. 회사가 홍보하는 초당 125토큰의 맥북 프로 생성 속도 역시 이 rec 엔진을 기준으로 산출됐다. 기본형 M4나 M6 칩셋, 그리고 이전 세대인 M4 맥스는 공식 지원 목록에 포함되지 않았다. M4 맥스 장비로 테스트를 진행한 마인드스튜디오 리포트에서도 rec 엔진은 정상 실행되지 않았다고 보고했다.

소형 데스크톱인 맥미니를 기준으로 공식 요건을 맞출 수 있는 가장 현실적인 구성은 M5 프로 48GB 모델이다. 애플 공식 스토어 기준 M5 프로 맥미니 24GB 기본형은 299만원이며, 48GB 메모리 업그레이드 옵션 비용 102만원을 추가하면 총 401만원에 이른다. 반면 일반형 M6 맥미니 규격은 최대 메모리 선택폭이 32GB로 제한되어 공식 권장 사양을 충족하지 못한다.

그렇다고 32GB 메모리 환경에서 구동이 완전히 불가능한 것은 아니다.

라마씨피피 기반 4비트 모델(26GB)을 선택하고 컨텍스트 창을 3만2768토큰 수준으로 제한할 경우 총 메모리 점유량은 약 27GB로 억제된다. 다만 이 경우 macOS 시스템과 다른 애플리케이션이 활용할 여유 메모리가 5GB 미만으로 쪼그라들며, 리커시브 역시 이러한 비공식 구성을 공식적으로 보증하지 않는다.

윈도우 환경 32GB VRAM 분기점…RTX 5090 13만토큰 실측

윈도우 PC 환경에서 메모리 48GB 요구사항은 일반 램이 아닌 그래픽카드 전용 VRAM을 지칭한다. 맥은 CPU와 GPU가 단일 메모리 풀을 공유하는 통합 메모리 구조지만, 일반 PC는 시스템 램과 그래픽 메모리가 물리적으로 분리되어 있기 때문이다. 소비자용 최고 사양 플래그십인 지포스 RTX 5090조차 VRAM이 32GB에 머물기 때문에 현실적인 타협책이 불가피하다.

가장 명확한 해법은 32GB 단일 카드의 컨텍스트 최적화다.

앞선 아토믹 에이전트의 사례처럼 컨텍스트 창을 13만1072토큰으로 조율하면 RTX 5090 한 장의 VRAM 안에서 모델과 캐시가 안정적으로 수용된다. 당시 아토믹 에이전트가 측정한 생성 속도는 초당 145.7토큰에 달했다.

16GB 그래픽카드 2장을 직렬 연결해 메모리를 분산 적재한 사례도 확인됐다. 라마씨피피 공식 저장소의 이슈 리포트에서는 윈도우 11 기반 환경에서 RTX 5060 Ti 16GB 2장에 NVFP4 모델을 쪼개 올리고 13만토큰 컨텍스트로 코딩 에이전트를 가동한 결과가 공유됐다. 도구 호출에서 간헐적 오작동이 보고되었으나 모델 자체는 해당 하드웨어에서 문제없이 로드됐다.

양자화 압축률을 더 끌어올려 파일 용량을 줄이는 대안도 존재한다. 허깅페이스의 바토프스키 커뮤니티 배포판 기준 IQ3_M은 21.1GB, IQ4_XS는 22.4GB까지 압축된다. 24GB VRAM을 갖춘 카드에서 짧은 문맥으로 띄울 수 있는 크기다. 다만 3비트 수준으로 과도하게 압축했을 때 코딩 정확도가 얼마나 손실되는지는 구체적인 벤치마크 데이터가 부족하다. 모델 로더인 LM 스튜디오 안내 역시 최소 구동 조건으로 VRAM 24GB를 제시한다.

GPU 메모리가 부족할 때 MoE 전문가 층의 일부를 시스템 램으로 넘기는 오프로딩 방식도 고려할 수 있다. 플린트는 매 토큰 생성 시 25억개의 전문가 파라미터만 선별 접근하므로 전체 가중치를 순회하는 밀집(Dense) 모델에 비해 속도 저하 폭이 상대적으로 완만하다. 그럼에도 순수 VRAM 상주 환경에 비해서는 체감 속도가 크게 둔화된다.

올라마와 라마씨피피, rec 3대 설치 파이프라인

가장 간결한 설치 경로는 경량 프레임워크인 올라마다. 올라마 공식 라이브러리에 23GB 크기의 정규 flint 태그가 등록되어 있어 단일 명령어로 즉시 배포된다.

ollama run flint

엔비디아 GPU 환경에서 세부 인자를 직접 튜닝하고자 한다면 라마씨피피(llama.cpp)를 활용한다. 플린트를 공식 지원하는 패치는 지난 10월 21일 깃허브 메인 브랜치에 병합됐다. 아래는 공식 문서 가이드를 기반으로 32GB VRAM 카드에 맞춰 컨텍스트 창을 13만1072토큰으로 최적화한 실행 스크립트다.

# 모델 다운로드
hf download RecursiveSI/flint-nvfp4-gguf flint-nvfp4.gguf \
  --local-dir flint-nvfp4-gguf

# 13만토큰 최적화 구동
llama-server -m flint-nvfp4-gguf/flint-nvfp4.gguf --alias flint \
  -ngl all -c 131072 -np 1 -fa on -ctk f16 -ctv f16 \
  --jinja --temp 1 --top-p 0.95 --top-k 20 --min-p 0 \
  --host 127.0.0.1 --port 8080

M4 프로 이상의 애플 실리콘 맥을 보유하고 있다면 rec 설치 스크립트가 가중치 다운로드부터 에이전트 구동까지 원클릭으로 처리한다.

curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bash
rec launch pi

다만 라마씨피피 경로는 아직 완전한 성능 최적화가 이뤄지지 않았다.

해당 지원 코드를 작성한 개발자는 병합 요청 문서에서 자동 보정(Auto-scaling) 로직으로 인해 10~30%가량의 속도 저하가 발생하며 향후 후속 패치에서 이를 보완하겠다고 명시했다.

비용 0원 오픈라우터 API 사전 검증

48GB 통합 메모리 맥이나 32GB 그래픽카드를 갖추지 못했다면 오픈라우터 무료 엔드포인트를 활용해 모델 성능을 사전에 가늠해볼 수 있다. 현재 입력과 출력 비용이 모두 0달러로 책정되어 있다. 오픈라우터 API로 실시간 조회한 결과 단일 제공자로 리커시브가 직접 호스팅하고 있었으며, 제공되는 정밀도는 4비트 양자화가 아닌 80GB 규모의 BF16 원본 가중치였다. 따라서 로컬 4비트 모델과 완전히 동일한 결과가 도출된다고 단정할 수는 없다.

무료 엔드포인트에는 엄격한 호출 한도가 적용된다. 오픈라우터 공식 정책 기준 기본 무료 티어는 분당 20회, 하루 50회로 제한되며, 누적 10달러 이상의 유료 크레딧을 충전한 계정은 하루 1000회까지 한도가 확장된다. 입력 데이터의 학습 활용 여부나 서버 로그 보관 정책이 모델 소개란에 상세히 명시되어 있지 않은 만큼, 사내 보안 코드나 고객 개인정보를 전송하는 것은 지양해야 한다.

이 무료 엔드포인트를 기반으로 11종의 정량 코딩 과제를 총 42회에 걸쳐 테스트한 세부 결과는 2편 분석 기사에서 이어진다.

긴 컨텍스트 속도 급락과 16GB 이하 VRAM의 한계

로컬 구동이 오히려 비효율을 초래하는 환경도 명확히 존재한다.

가장 취약한 지점은 긴 컨텍스트 환경이다. 실제 마인드스튜디오 벤치마크에서는 짧은 프롬프트 기준 초당 110토큰에 달했던 생성 속도가 8000토큰에서 52토큰, 3만2000토큰에서는 32토큰까지 급락했다. 코딩 에이전트는 프로젝트 전체 구조와 이전 대화 로그를 누적하면서 초기 구동 시점부터 1만7000~2만6000토큰의 문맥을 기본 탑재한다. 회사가 내세우는 초당 125토큰의 속도는 짧은 단문 질의에서만 유효한 조건부 수치다.

VRAM 16GB 이하 단일 그래픽카드 환경 역시 로컬 실행에 부적합하다. 가장 극단적으로 압축한 2비트 양자화 모델조차 파일 용량만 12.0GB에 달해, 작업용 컨텍스트 캐시와 운영체제 기본 점유분을 얹는 순간 VRAM이 즉각 고갈된다. 이러한 사양이라면 무리한 로컬 구동을 시도하기보다 무료 API 엔드포인트를 통해 결과물 품질부터 타진하는 접근이 합리적이다.

결국 로컬 구동의 최적 수혜자는 명확히 수렴된다. 외부 클라우드로 코드를 전송할 수 없는 보안 폐쇄망 환경에서, 48GB 이상의 애플 실리콘 맥이나 32GB급 그래픽카드를 이미 확보한 엔지니어 조직이다.

준비된 하드웨어가 없다면 무료 API가 가장 현실적인 출발선이다.