핵심 요약
AI 요약
기사 목차 펼치기 / 접기
키미(Kimi) K3.1 Pro는 코딩 에이전트의 경쟁 후보로 올라섰다. 다만 터미널 과제를 잘 푸는 능력과 낯선 저장소를 고치는 능력은 달랐다. 공개 가중치도 손쉬운 직접 운영을 보장하지 않는다.
K3 대비 변화한 아키텍처와 규모
문샷AI(Moonshot)의 공식 모델 카드에 따르면 K3.1 Pro는 K3를 추가 학습한 모델로, 텍스트와 이미지를 입력받고 텍스트를 출력한다. 입력을 처리하는 문맥 창은 약 100만토큰이다. 토큰은 모델이 글과 데이터를 나눠 읽는 단위다. 긴 자료를 한 번에 넣는 용량과 그 내용을 정확히 이해하는 능력은 따로 봐야 한다.
전체 파라미터는 2조8000억개이며, 토큰을 처리할 때 활성화되는 파라미터는 1040억개다. 필요한 전문가 부분을 골라 쓰는 전문가 혼합(MoE) 아키텍처다. 거대 모델을 분야별로 쪼갠 전문가 혼합(MoE)은 국립중앙도서관의 ‘전문 사서’와 같다. 질문이 들어왔을 때 실제로 뛰어가 책을 찾는 사서는 1~2명뿐이라 응답 속도는 빠르지만, 도서관 문을 열어두려면 모든 사서가 서가에 상주해야 하듯 2조8000억개 가중치 전체가 VRAM에 상주해야 한다. 활성 수치만 보고 작은 모델처럼 실행할 수 있다고 판단하면 저장과 메모리 부담을 놓친다.
문샷AI는 공식 기술 블로그를 통해 코딩·3D 제작·금융 조사 능력을 개선했다고 설명했다. 3D 작업에는 코드 작성과 실행, 검색·생성 도구를 결합하는 방식도 포함된다. 완성된 시연 영상만으로는 모델 자체의 능력과 외부 도구의 기여를 나누기 어려워, 결과물을 만든 과정까지 확인해야 한다.
터미널 과제와 업무 자동화에서 드러난 강점
독립 평가기관 아티피셜 애널리시스(Artificial Analysis)의 Terminal-Bench 4.0 평가에서 K3.1 Pro의 성공률은 67.2%였다. 66개 과제를 각각 세 번 실행해 첫 시도의 성공률을 평균한 결과다. 단순히 코드 한 조각을 출력하고 끝나는 시험이 아니다. 에이전트가 터미널에서 작업하고, 과제마다 정한 검사를 모두 통과해야 한다.
평가기관은 mini-swe-agent 실행 틀을 썼다. 문샷AI의 공식 평가 표에 실린 클로드코드(Claude Code) 기반 실행과는 조건이 다르다. 같은 시험 이름이 붙어도 실행 환경을 맞춰 읽어야 하며, 환경 차이를 모델 차이로 해석하지 않도록 업체 표와 독립 평가를 구분해야 한다.
강점이 사라지는 것은 아니다. 같은 평가기관의 비교 분석표에서 K3.1 Pro는 터미널 과제와 업무 자동화에서 GPT-6.1 솔(Sol)보다 높은 점수를 냈다. 여러 단계를 거쳐 도구를 다루는 업무라면 검토할 근거가 생겼다. 다만 해당 과제의 성공을 모든 개발 업무의 우위로 넓힐 수는 없다.
문샷AI가 강조한 금융 평가도 재무 문서에서 근거를 찾고 수치를 대조하는 작업을 포함한다. 회사는 공식 블로그 발표에서 자체 환각 시험이 일상 사용 전체의 오류율을 뜻하지 않는다고 명시했다. 문서 분석 점수와 투자 수익률은 다른 문제다. 평가에서 문서를 잘 읽었다는 사실이 시장 예측까지 입증하지는 않는다.
저장소 수정과 과학 벤치마크의 한계
아티피셜 애널리시스의 모델 비교표를 대조하면 업무 영역에 따라 두 모델의 우열이 뚜렷하게 나뉜다. 아래 표의 수치는 비교 자료가 정수로 반올림한 값이다.
| 평가 과제 | 키미 K3.1 Pro | GPT-6.1 솔 | 성격 |
|---|---|---|---|
| Terminal-Bench 4.0 | 67% | 56% | 터미널 에이전트 작업 |
| 프런티어코드 2.0 | 25% | 41% | 공개 저장소 변경 작업 |
| Terminal-Bench-Science 0.1 | 34% | 58% | 과학 연구 작업 |
터미널 과제에서는 K3.1 Pro가 앞섰지만, 프런티어코드 2.0(FrontierCode 2.0) 점수는 25%로 GPT-6.1 솔(41%)에 뒤졌고 Terminal-Bench-Science 0.1 점수도 각각 34%와 58%로 갈렸다.
앞서 본 터미널 점수와는 반대 방향이다.
프런티어코드는 실제 공개 저장소의 변경 작업을 다룬다. Terminal-Bench-Science 시험은 전문가가 만든 연구 작업 70개를 대상으로 한다. 둘 다 코드를 쓰더라도 풀어야 할 문제가 달라, 실행 오류를 해결하는 작업과 과학 지식을 적용하는 작업을 같은 능력으로 묶기 어렵다.
키미가 코딩에 강하다는 설명에도 업무의 이름이 붙어야 한다. 터미널 명령을 다루는지, 저장소에 기능을 추가하는지, 연구 절차를 재현하는지에 따라 근거가 달라진다.
개발자를 대체한다는 선언보다 맡길 작업의 범위를 좁히는 편이 이 평가를 제대로 활용하는 길이다.
공개 가중치와 자체 운영의 조건
K3.1 Pro의 가중치와 자체 라이선스 전문은 공개 저장소에서 확인할 수 있으며, 사용·수정·배포를 허용하면서 일부 모델 서비스 사업과 대형 상업 서비스에 추가 조건을 둔다. 공개됐다는 사실만으로 모든 사업자의 이용 조건이 같아지지는 않는다.
특히 라이선스 조건을 살펴보면 모델 서비스 사업의 매출 조건, 대형 서비스의 이름 표시 조건을 구분하며, 내부 사용과 공식 제품·인증 추론 파트너 이용에는 해당 추가 조건의 예외를 둔다. 직접 운영, 외부 고객에게 모델 제공, 공식 API 이용을 한 항목으로 묶어 판단해서는 안 된다. 적용 여부는 자신의 제공 방식과 계약을 대조해야 한다.
실행 엔진 vLLM의 배포 가이드는 MXFP4 체크포인트를 8개 GPU로 나눠 실행하는 서버 구성을 제시한다. 이 구성은 가능한 배포 사례이지 모든 환경의 최소 요구사항은 아니다. 그래도 공개 가중치를 내려받는 일과 개인 PC에서 원활하게 쓰는 일 사이의 거리는 드러난다.
직접 운영에는 장점도 있다. 데이터를 어디서 처리할지 정하고 실행 환경을 통제하려는 조직이라면 공개 가중치 자체가 선택 이유가 된다. 그 선택에는 서버 비용과 운영 인력이 함께 붙는다.
API 사용료만 줄이는 계산으로 접근하면 부담의 일부가 장부에서 빠진다.
국내 기업 업무 적용 시 남은 과제
아티피셜 애널리시스의 종합 지수 방법론은 주로 영어 기반이며, 한국어가 포함된 다국어 평가는 별도로 운영한다. 종합 점수만으로 한국어 재무표의 단위나 공시의 기간을 정확히 읽는다고 단정할 수 없다. 이번 분석에서도 모델을 직접 실행하지 않았다.
국내 기업이 맡길 일은 영어 시험에 나온 터미널 과제와 다를 수 있다. 원화와 달러, 당기와 누계가 섞인 문서에서 숫자를 제대로 옮기는지까지 확인해야 한다. 이번 조사에서는 국내 기업의 원본 문서를 오류 없이 처리하는지 확인하지 않았다.
