핵심 요약
AI 요약
기사 목차 펼치기 / 접기
코딩을 잘한다는 말만으로 모델을 고르기 어려워졌다. 키미는 터미널 작업, 오푸스(Opus)는 종합 지수에서 앞섰다. 같은 코딩 평가 안에서도 저장소 수정으로 과제를 바꾸면 순서가 달라졌다.
비교 대상 모델과 추론 설정의 기준
비교 대상은 키미(Kimi) K3.1 Pro, GPT-6.1 솔(Sol), 클로드 오푸스(Claude Opus) 5.5, 제미나이(Gemini) 4 아르곤(Argon)이다. 일반 이용자가 업무에 사용할 고성능 모델을 골랐으며 최상위 고가 모델을 별도로 모으거나 가격을 같게 맞춘 비교는 아니다. 자료는 11월 6일 확인한 아티피셜 애널리시스(Artificial Analysis)의 인텔리전스 지수 v5.0.1과 개별 평가다. 업체 발표를 이어 붙이지 않았으며 숫자가 다른 시점에 바뀔 수 있으므로 이번에 확인한 버전과 설정 안에서 읽어야 한다.
비교 분석표에서 GPT-6.1 솔은 Max 설정이다. 오푸스 비교표는 Max·Default Fallback을 사용한다. 아르곤 비교표는 High를 명시한다. 설정의 이름이 다르므로 같은 추론량을 썼다고 해석해서는 안 된다.
키미의 개별 모델 페이지는 추론 강도를 따로 표시하지 않는다. 공식 API 안내의 기본값은 max지만, 그 기본값만으로 평가기관의 실행 설정까지 확정할 수는 없다.
이 글은 공개된 결과를 분석했으며 모델을 직접 실행하지 않았다.
터미널 작업과 저장소 수정에서 갈린 평가
아래는 평가기관의 세 비교표를 합친 것으로, 백분율은 원문 표의 정수 반올림값이다. 모두 높을수록 좋지만 채점 방식이 달라, 다른 행끼리 점수를 직접 비교할 수는 없다. 키미·GPT-6.1 솔 비교표, 오푸스 비교표, 아르곤 비교표에서 대조했다.
| 평가 | 키미 K3.1 Pro | GPT-6.1 솔 | 오푸스 5.5 | 아르곤 |
|---|---|---|---|---|
| 종합 지수 | 46 | 55 | 59 | 50 |
| Terminal-Bench 4.0 | 67% | 56% | 60% | 57% |
| 프런티어코드 2.0 | 25% | 41% | 46% | 26% |
| Terminal-Bench-Science 0.1 | 34% | 58% | 59% | 53% |
| GDP.pdf | 31% | 31% | 26% | 22% |
| AutomationBench-AA | 73% | 65% | 70% | 78% |
Terminal-Bench는 66개 터미널 과제를 각각 세 번 실행한다. 프런티어코드(FrontierCode)는 공개 저장소의 변경 작업 132개를 다룬다. Terminal-Bench-Science 시험은 70개 연구 과제가 대상이다. 키미의 터미널 우위가 저장소 수정과 과학 작업으로 이어지지는 않았다.
코딩이라는 한 단어가 서로 다른 일을 감추고 있었다.
차이가 작은 칸도 있다. 과학 평가에서 오푸스와 GPT-6.1 솔은 정수 반올림값으로 1%p 차이지만 이 값만으로 두 모델의 우열을 확정하기는 어렵다. 반복 실행과 과제 구성에 따른 흔들림까지 봐야 한다. 평가 방법론을 보면 프런티어코드는 조건별 점수를 합산하고 AutomationBench-AA는 과제별 목표의 평균 달성 비중을 평가한다. 표의 25%를 저장소 과제 네 개 중 하나의 완전 성공으로, 78%를 자동화 과제의 완수율로 읽어서는 안 된다.
문서 분석과 업무 자동화 성능의 분기
GDP.pdf 평가는 100개 문서 과제를 각각 다섯 번 평가하며, 답변이 요구 조건을 모두 충족하는지를 따진다. 반올림한 값에서는 키미와 GPT-6.1 솔이 같고 오푸스가 뒤에 있지만 종합 지수에서는 오푸스가 앞선다. 문서 한 분야의 점수와 여러 능력을 합친 점수가 갈리는 사례다. AutomationBench-AA는 모의 업무용 서비스 환경의 목표 수행을 평가하며, 안전 경계를 어기는 작업에는 점수를 주지 않는다. 이 항목에서는 아르곤이 네 모델 중 앞서 문서 질문에 답하는 능력과 도구를 움직여 업무를 마치는 능력을 구분할 근거가 된다.
지식의 신뢰성을 보는 AA-Omniscience v1.1 순점수는 키미 30, 아르곤 46이었으며, GPT-6.1 솔은 42, 오푸스는 48로 확인됐다.
이 점수는 환각률이 아니다.
평가기관의 Omniscience 평가 규정은 정답에 보상하고 오답에 감점하며, 답변 거절에는 감점하지 않는다. 문서를 잘 읽는 모델도 모르는 지식에 답할 때는 별도로 검증해야 한다.
토큰 단가와 과제당 실질 비용의 격차
오픈AI(OpenAI)의 공식 API 단가표에 따르면 GPT-6.1 솔 표준 단가는 입력·출력 100만토큰당 각각 2달러·10달러다. 오푸스의 공식 단가는 각각 4달러·20달러다. 원화 환산은 11월 6일 기준 달러당 1355.14원을 적용했다. 각각 약 2710원·1만3551원, 5421원·2만7103원이다. 세금과 별도 도구 이용료는 제외한 단가다.
과제당 비용을 보면 사용량 차이까지 드러나며, 아래는 평가기관이 산정한 지수 과제당 가중평균이다. 키미·GPT-6.1 솔, 오푸스, 아르곤의 표에 실린 값을 옮겼다.
| 모델 | 평가기관 산정 비용 | 원화 환산 | 산정 시간 |
|---|---|---|---|
| 키미 K3.1 Pro | 3.68달러 | 약 4987원 | 36.1분 |
| GPT-6.1 솔 | 1.27달러 | 약 1721원 | 22.2분 |
| 오푸스 5.5 | 10.04달러 | 약 1만3606원 | 27.4분 |
| 아르곤 | 9.95달러 | 약 1만3484원 | 26.1분 |
평가기관의 산정 시간은 출력 토큰 수와 생성 속도로 계산한 지표로, 모든 도구 실행을 포함해 실제로 잰 작업 종료 시간과 같지는 않다. 비용 역시 성공한 결과물 하나의 가격이 아니며, 실패한 과제까지 포함한 평가의 비용을 자신의 업무에 그대로 곱할 수 없다.
아르곤에는 가격 조건도 붙는다. 구글(Google)은 공식 블로그에서 입력·출력 100만토큰당 2달러·10달러의 출시 가격을 안내하며, 11월 30일 할인 종료 뒤에는 4달러·20달러가 적용된다. 평가기관의 아르곤 모델 표는 후자의 단가를 사용한다. 원화 환산은 앞서 제시한 같은 단가와 같다. 현재 할인 가격과 표의 비용을 섞어 가성비 순위를 확정하면 비교가 어긋난다.
종합 순위의 유용성과 독자 맞춤 가중치
종합 지수에는 쓸모가 있으며, 특정 시험만 잘하는 모델을 골라내고 여러 능력을 한꺼번에 비교하는 출발점이 된다. 다만 독자의 업무와 시험의 비중이 맞는지는 별도 문제다.
현재 지수 산정 기준은 지식 업무·코딩·과학·일반 능력에 각각 25%를 배분한다. 문서 작업이 대부분인 조직과 연구 과제를 자주 푸는 조직이 같은 가중치를 채택할 이유는 없다. 키미의 터미널 성적, GPT-6.1 솔의 비용, 오푸스의 종합 성적, 아르곤의 자동화 성적을 자신의 업무와 연결해야 한다.
이번 공개 평가에서는 네 모델 전체에 적용할 단일 승자를 정하지 않았으며, 한국어 원본 문서의 단위·기간·출처 대조는 별도 검증 과제로 남겼다. 모델을 고르는 마지막 시험지는 각 조직이 실제로 맡길 문서와 작업 목록이다.
