GPT-6.1 테라 144회 비교, 짧은 코딩은 동률이고 응답 시간은 달랐다

핵심 요약 AI 요약

1

144회 자체 비교:한국어·코딩 실무 12문항을 4개 조건에 각각 3회씩 제시해 총 144개 응답을 분석했다.

2

단기 코딩 동률:5개 코드 문항의 단위 테스트에서 4개 조건 모두 15회씩 통과했지만, 이 결과를 복합 프로젝트 개발 역량으로 일반화할 수는 없다.

3

한국어 채점 오탐:한국어 응답 84개를 원문과 대조한 결과, 키워드 매칭 방식의 자동 채점에서 명백한 오탐 23건이 확인됐다.

4

응답 시간 격차:36회씩 측정한 응답 시간 중앙값은 테라 medium이 7.1초로 가장 짧고 테라 max가 13.1초로 가장 길었다.

5

비용 환산 한계:36회 실행의 캐시 반영 API 비용 환산액은 테라 medium이 0.2453달러로 가장 낮았으나, 실제 청구액이나 기업별 비용 절감을 입증한 수치는 아니다.

기사 목차 펼치기 / 접기

짧은 코딩 과제에서는 GPT-6.1 테라와 솔, GPT-6 아스트라가 모두 같은 테스트를 통과해 승자를 가리지 못했다. 대신 응답 시간에는 분명한 차이가 있었고, 한국어는 자동 채점만 믿었다면 완전히 다른 결론을 내릴 뻔했다.

1편에서는 새 테라의 공개 벤치마크와 가격표를 비교했으며, 이번에는 실제로 동일한 자료를 넣고 답변과 코드를 직접 수집했다. 한국어·코딩·편집 실무 12문항을 네 조건에 세 차례씩 제시해 144개 응답을 정밀 분석했다. 별도 호출 점검 4회는 집계에서 제외했다. 공개 평가의 단순 재현이 아니라 범위와 기준을 명확히 설정한 자체 비교 분석이다.

한국어·코딩 12문항과 새 세션 격리 조건

비교 대상은 GPT-6.1 테라(Terra) mediumax, GPT-6.1 솔(Sol) medium, GPT-6 아스트라(GPT-6 Astra) medium 등 4가지 환경이다. 한국어 답변 7문항과 코드 작성·수정 5문항을 제시했다. 조건·예외 요약과 윤문, 업무 메시지, 상충 자료 종합 등을 맡겼다. 코딩에서는 원화 문자열과 세액을 처리하고 기존 함수의 오류를 고치도록 설계했다.

모든 조건에 같은 문제를 독립된 새 세션에서 제시하되 웹 검색과 파일 읽기 등 외부 도구는 전면 제한했고, 생성된 코드는 격리된 샌드박스 환경에서 동일한 사전 단위 테스트로 실행했다. 실존 기업의 내부 데이터가 아니라 통제된 시험용 가상 자료를 사용했다. 사례 속 수치를 실제 기업의 성과 지표로 확대 해석해서는 안 된다.

실행 경로는 코덱스(Codex) 인터페이스로, CLI의 기본 시스템 지시와 도구 설명이 입력에 함께 포함되어 일반 API 단독 호출 시험과는 구조적 차이가 있다. 요청한 모델 식별자와 정상 응답은 확인했으나, 이벤트 로그에 기록되지 않은 서버 내부의 실제 모델 체크포인트 버전까지 물리적으로 검증하지는 못했다. 본 시험 조건을 벗어난 제품 전체의 성능으로 일반화할 수는 없다.

실제 성능의 크기는 격리된 시험장 밖에서 결정된다.

단기 코딩 60회 전수 통과와 벤치마크의 한계

5개 코드 문항은 4개 조건 모두 3회씩 총 60회의 실행에서 단 한 건의 실패도 없이 전수 통과했다. 형식이 그럴듯한 코드를 눈으로 보고 점수를 매긴 정성 평가가 아니다. 공개 함수에 입력을 주입하고, 반환값의 정밀도와 예외 처리, 기존 로직 보존 여부를 단위 테스트로 자동 검증했다. 정해진 테스트 케이스를 통과했다는 뜻이지 잠재적 엣지 케이스 오류가 전혀 없다는 보증은 아니다.

원화 처리 문항에서는 전각 숫자와 괄호 음수를 읽되, 잘못된 쉼표 묶음과 소수점·만원 단위를 거부하도록 검증했다. 세액 계산에는 초대형 정수와 잘못된 자료형 주입도 포함했다. 정상 입력 하나만 대조한 시험은 아니지만, 수만 줄의 저장소를 탐색하거나 여러 모듈 간 의존성을 리팩터링하는 복합 프로젝트 개발 과제는 포함하지 않았다.

이 과제들은 네 조건의 지능 격차를 갈라내기에 난이도가 충분하지 않았다.

독립 벤치마크인 코딩 에이전트 지수(Coding Agent Index v2.0)에서는 테라가 48점으로 솔의 54점보다 낮았다. 이번 전수 통과 결과가 공개 벤치마크를 뒤집는 것은 아니며, 문제 난이도와 탐색 범위가 좁아지면 모델 간 서열이 무의미해질 수 있음을 보여준다. 단일 함수의 정답률을 장기 소프트웨어 엔지니어링 역량으로 치환하면 판단이 어긋난다.

한국어 기계 채점 23건 오탐과 문맥 보존

한국어 응답 84개는 모델명을 블라인드 처리한 후 원문 문맥과 1:1 대조했다. 그 결과 단순 키워드 매칭 기반 자동 채점에서 명백한 오탐 23건과 경계선 판정 2건이 확인됐다. 자연스러움에 자의적인 점수를 매기거나, 기계적 판정을 무비판적으로 합산해 서열화하지 않았다.

테라 max는 잘못된 인용을 검출하는 문제에서 연구자의 실제 발언을 정확히 인용하며, 효과가 입증됐다는 주장은 원본 자료에 없다고 답변했다. 핵심을 정확히 짚어냈음에도, 자동 채점 알고리즘은 ‘인용’이라는 특정 단어가 누락됐다는 이유로 오답 처리했다. 문장의 맥락적 진실과 특정 단어의 단순 출현은 결코 같지 않았다.

원본 기계 판정과 심층 검토 후 판정을 모두 투명하게 대조했다.

표현의 정밀성을 다시 짚어야 할 대목도 있었다. 테라 medium은 약관 변경 공지 요약에서 신규 시행일과 기존 요금을 묶어 ‘미정 또는 자료에 명시되지 않았다’고 서술했다. 원문에서 시행일은 미정이 맞았으나, 기존 요금은 제공된 프롬프트에 기재되지 않은 항목이었다. 허위 사실을 날조하지는 않았어도 확정되지 않은 사실과 알 수 없는 사실을 더 엄밀히 구분할 필요가 있었다.

윤문 문항의 직접인용은 12개 응답 모두 원문을 충실히 보존했다. 업무 메시지 12개도 요구된 120~180자 범위에 부합했다. 상위 모델이라고 형식 규격을 완벽히 준수한 것은 아니었다. 아스트라의 기획 메모 한 응답은 656자로 상한(650자)을 6자 초과했다. 사실 보존력과 글자 수 등 형식 통제력은 별도로 분리해 검증해야 할 영역이다.

중앙값 7.1초의 응답 속도와 캐시 적중 환산 비용

조건별 36회 응답을 비교하면 테라 medium의 응답 시간 중앙값이 7.1초로 가장 짧았다. 테라 max는 13.1초로 가장 길었으며, 출력 토큰 중앙값 역시 medium의 179.5개보다 3.8배 많은 681.5개에 달했다. 출력 토큰에는 모델이 정답 도출을 위해 소모한 내부 생각(추론) 토큰이 포함된다. 겉으로 드러난 최종 답변 길이만으로 연산량을 가늠해서는 안 된다.

측정 시간은 CLI 명령 시작부터 종료까지 전체 프로세스를 포괄하며, 초기화와 통신, 추론, 스트리밍 출력을 모두 합산한 관측치다. 최대 4개 병렬 세션 환경에서 수집된 기록이므로, 네트워크 환경에 따라 체감 시간은 달라질 수 있다. 단기 과제에서 max 설정의 과도한 추론 지연이 불가피했는지를 가늠할 핵심 지표다.

실측된 토큰 수에 공식 표준 API 단가를 적용해 비용을 역산했다. 캐시 입력과 일반 입력, 출력 요율을 엄격히 구분 적용했다. 아래는 조건별 36회 실행의 총합 환산치다.

실제 API 청구서나 구독 사용량 차감액을 측정한 금액은 아니다.

원화 환산은 달러당 1324.4원을 기준으로 계산했다. 프롬프트 캐시 적중률은 공통 시스템 지시의 길이와 세션 순서에 좌우되므로, 캐시를 전제한 비용 절감을 일률적으로 보장할 수는 없다. 두 계산 수치는 본 시험에서 관측된 기록을 토대로 도출한 비교 참고치다.

자체 시험이 증명한 영역과 남겨진 과제

1편에서 살펴본 독립 종합 평가에서는 테라 max와 솔 medium의 지수가 48점으로 대등했으나, 가중 작업 비용은 솔 쪽이 더 저렴했다. 반면 이번 단기 과제의 실측 API 참고 환산에서는 테라 max의 비용이 솔보다 낮게 나타났다. 상충되는 모순이 아니다. 과제의 난이도와 프롬프트 길이, 추론 토큰 요구량, 캐시 환경에 따라 비용 방정식이 완전히 재구성되기 때문이다.

이번 자체 시험이 지지하는 결론의 범위는 명확하다. 단기 코드 작성과 정형화된 한국어 실무 과제에서는 테라 medium이 속도와 비용 양면에서 우선순위가 높았다. 실제 비용 절감 여부는 기업 고유의 호출 로그로 검증해야 하며, 한국어 문맥의 미묘한 오탐 방지는 추가 정밀화가 필요하다. 복잡한 다중 모듈 아키텍처와 장문 맥락에서도 동일한 가성비가 유지되는지는 별도의 실측 과제로 남았다.

“문장의 뜻과 특정 단어의 출현은 결코 같지 않았다. 이번에 모두 맞힌 다섯 함수 역시, 아직 어느 모델이 더 거대한 프로덕션 프로젝트를 끝낼지 말해 주지 않는다.”