핵심 요약
AI 요약
기사 목차 펼치기 / 접기
작은 코드 수정에서는 세 모델이 같은 테스트를 통과해 정확성 승자를 가리지 못했고, 답을 받는 시간과 비용에서 차이가 났다.
비교 대상은 GPT-6.1 테라(Terra), 클로드 소넷(Claude Sonnet) 5.5, 제미나이(Gemini) 3.8 Flash 세 모델이다. 기존 함수의 오류 수정이나 작은 기능 추가처럼, 요구 조건이 명확한 작업에 같은 코드와 명세를 제공했다. 제출물이 그럴듯해 보이는지보다 실제로 요구한 동작을 하는지를 확인하는 시험이다.
실험은 2026년 10월 28일 진행했다. 코드 제출 네 과제와 코드 이해 두 과제를 모델마다 세 번씩 실행한 결과는 모두 54개다. 입력과 요구사항은 동일하게 제공했고 매번 새 요청으로 시작했으며, 순서를 미리 섞어 한 번에 하나씩 실행했다.
정상 입력보다 경계 조건을 봤다
코드 제출에는 네 가지 서로 다른 작업을 넣었다. 캐시와 금액 파서는 기존 오류를 고치도록 했고, CSV 변환과 요금 계산은 명세에 맞는 함수를 만들도록 했다. 정상 입력뿐 아니라 입력이 잘못됐거나 조건이 바뀌는 경계에서도 약속한 동작을 해야 통과다.
| 제출 과제 | 확인한 핵심 동작 | 놓치기 쉬운 조건 |
|---|---|---|
| 캐시 오류 수정 | 값과 만료 시각의 저장·조회 | 만료 시각과 같은 순간, None 저장, 같은 키 갱신 |
| 원화 금액 파서 | 문자열을 정수 금액으로 변환 | 전각 문자, 쉼표 묶음수 표시, 잘못된 입력 |
| CSV 정렬·변환 | 월별 자료의 순서와 원문 금액 보존 | 중복 행 순서, 인용 필드, 누락값·중복 헤더 |
| 할인·초과요금 계산 | 조건에 따른 정수 요금 반환 | 할인 적용 경계, 큰 정수, 참·거짓 입력 거부 |
출처: 자체 실험에서 실행 전에 고정한 과제와 검사 기준. Python 표준 라이브러리만 허용했다.
실제 검사에는 ‘（₩１，２３４원）’을 넣었으며, 전각 문자를 정규화하고 괄호를 음수로 해석해 정수 -1234를 반환해야 했다. 반면 ‘1234원’은 잘못된 쉼표 묶음이므로 오류를 내야 했다. CSV 검사에는 같은 발전소의 같은 달 자료를 금액 ‘003’과 ‘004’로 연달아 넣었다. 정렬 뒤에도 두 행의 순서와 앞자리 0이 그대로 남아야 했다. 금액을 숫자로 바꾸거나 같은 달의 행을 합치면 검사에서 실패하는 구성이다. 세 모델의 제출 코드는 이 입력들을 모두 처리했다.
테스트를 통과했다는 말의 범위를 여기까지 고정했다.
기준 코드는 통과하고 빈 코드는 실패하는 것을 확인한 뒤 생성 코드를 실행했다. Python 3.12.3에서 실행되며, 사용자 파일과 API 키·외부 네트워크에 접근할 수 없는 구성이다. 정답 구현과 비공개 검사용 코드는 모델에 전달하지 않았다.
통과 결과와 응답 비용을 함께 놓았다
유효한 코드 제출은 세 모델 모두 첫 제출에서 회귀 테스트를 통과했다. 별도로 둔 코드 이해는 중복 집계 오류의 원인과 만료 판정의 수정 위치를 찾는 과제였다. 답변에 적힌 함수 이름과 실제 동작이 함께 맞는지를 기준으로 판정했다.
| 모델 | 코드 제출 통과 | 코드 이해 통과 | 코드 제출 응답 시간 중앙값 | 출력 토큰 합계·추론 포함 | 코드 제출 비용 지수·테라=1 |
|---|---|---|---|---|---|
| 테라 | 12건 전원 (100%) | 6건 전원 (100%) | 6.230초 | 6982 | 1.00 |
| 소넷 | 12건 전원 (100%) | 6건 전원 (100%) | 8.355초 | 13565 | 3.83 |
| 제미나이 | 12건 전원 (100%) | 6건 전원 (100%) | 15.845초 | 25794 | 2.62 |
출처: 자체 실험의 모델별 첫 응답. 코드 제출의 시간·토큰·비용은 같은 열두 개 제출을 비교했으며, 코드 이해의 비용을 합치지 않았다.
정확성이 같게 나온 이 표본에서는 테라가 비용과 응답 시간에서 유리했다. 토큰 수가 적었다는 사실도 작업당 비용 차이의 일부지만, 입력 사용량과 모델별 단가도 함께 적용해 계산했다. 비용 지수는 실행일의 표준요금 환산값이며 실제 계정 청구액을 확인한 값은 아니다. 응답 시간도 요청 직전부터 수신 완료까지 잰 값이라 통신과 제공사의 처리 상태가 포함된다. 이를 모델의 순수 연산 속도라고 부르지는 않는다.
제미나이의 CSV 과제 한 건은 최초 응답을 확보하지 못해 코드 오답으로 세지 않았다. 같은 입력과 설정으로 다시 실행한 코드는 첫 제출에서 검사를 통과했다. 표는 이 재실행을 반영한 결과이며, 최초 중단 호출의 미확인 비용은 별도 예산 기록에 남겼다.
정확성이 같을 때 선택을 가르는 기준은 시간과 비용이었다.
같은 환경에도 추론량 차이는 남는다
이번 비교는 각 회사가 API에 정한 기본 추론 설정을 따랐다. 오픈AI(OpenAI) 공식 API 문서의 테라와 구글의 제미나이는 medium을, 앤트로픽의 소넷은 adaptive·high를 각각 적용했다. 모델마다 설정의 뜻과 실제 사용량이 달라 이름만 맞춰 계산량까지 통제했다고 설명할 수 없다.
따라서 테라의 비용 이점은 이 과제와 설정에서 얻은 결과다. 소넷의 추론 수준을 낮췄을 때 정확성과 사용량이 어떻게 바뀌는지는 측정하지 않았다. 설정 변경으로 줄어들 수도 있는 비용을 이미 확인한 것처럼 비교해서는 안 된다.
작은 함수의 수정 요청을 반복하는 개발자라면 이 결과를 자신의 비교 기준으로 삼을 수 있다. 요구하는 동작을 먼저 정하고, 그 검사를 통과하는 코드의 비용과 대기 시간을 함께 재는 방식이다. 문법이 자연스러워 보이거나 코드가 짧다는 이유만으로 같은 평가를 내리지는 않았다.
기본 설정의 비용 우위를 모든 환경의 일반론으로 읽을 수는 없다.
그러면 테라가 코딩 최강인가
이번에는 문제 설명에 수정 조건을 적어두고 코드를 제출하도록 했으므로, 코딩 전반의 우열을 결론 내릴 근거는 없다. 여러 파일을 탐색하고 명령을 실행하는 에이전트의 능력은 측정하지 않았다. 실제 서비스에서는 문서에 없는 규칙을 찾아내거나 운영 데이터와 설명이 충돌하는 원인을 밝혀야 할 수 있다. 설계를 바꾸는 장기 작업도 이번 과제에 포함하지 않았다. 명세가 고정된 작은 문제의 통과율을 이런 개발 업무 전체로 확장할 수 없는 이유다.
반복 실행이 문제의 종류를 늘려주는 것도 아니다. 같은 함수와 명세에 여러 번 답하게 한 것이므로, 서로 다른 저장소와 언어를 두루 검증한 결과로 읽어서는 안 된다. 실제 프로젝트의 도구로 고르려면 기존 코드와 연결했을 때도 동작하는지, 수정한 코드가 다른 기능에 영향을 주는지 확인할 테스트가 필요하다. 이번의 고정된 함수 검사만으로는 그 적합성까지 판단할 수 없다.
작은 함수의 통과가 에이전트의 완성도를 보증하지는 않는다.
