핵심 요약
AI 요약
기사 목차 펼치기 / 접기
클로드 오푸스(Claude Opus) 5.5의 능력치가 몰래 깎였다는 이른바 ‘너프(nerf)’ 의혹에 한 독립 벤치마크가 41일간의 정밀 추적으로 ‘성능 저하는 없다’는 결백 판결을 내놓았다. 하지만 통제된 실험실의 무죄 선고와 현장 개발자가 겪는 둔탁한 체감 사이에는 결정적인 조건의 간극이 가로놓여 있다. 측정기는 AI의 사고 깊이를 뜻하는 노력 수준(effort)을 최고 단계인 ‘high’로 못 박아 돌렸지만, 정작 개발자가 터미널을 열었을 때 마주하는 클로드코드(Claude Code)의 기본값은 토큰을 절충한 ‘medium’이기 때문이다.
앤트로픽(Anthropic)이 2026년 9월 22일 오푸스 5.5를 출시한 직후부터 개발자 커뮤니티에서는 이 같은 불만이 들끓었다. 게임에서 패치 이후 능력치를 몰래 낮추는 현상에 빗댄 논란이 커지자, 한 개발자가 모델의 퇴행 여부를 직접 가리겠다며 ‘LiveNerf’ 프로젝트를 시작했다. 출시 일주일 뒤 해커뉴스(Hacker News)에 올라온 LiveNerf 소개 글에는 900점 넘는 추천 점수와 댓글 390여 개가 붙었다.
41일간 동일 문항 매일 평가… 변화 감지 않는 사전등록 기준선
LiveNerf 프로젝트는 출시 2.5일 뒤인 9월 24일부터 오푸스 5.5에 매일 같은 78문항을 풀린다. 문항은 대학원 수준 과학 문제 모음인 GPQA 다이아몬드(GPQA Diamond), 다분야 객관식인 MMLU-Pro, 경시 수학과 AIME에서 골랐다. 앤트로픽과 관계없는 개인 프로젝트로, 채점은 정답과 일치하는지만 본다.
문항을 고르는 방식은 독특하다. 사전등록(PREREGISTRATION) 기준에 따라 후보 2336문항을 네 번씩 풀려 한 번에서 세 번 사이로 맞힌 문항만 남겼다. 늘 맞히거나 늘 틀리는 문제로는 실력이 줄어도 점수가 움직이지 않기 때문이다. 점수보다 점수의 변화를 재는 시험이다.
판정 규칙은 데이터를 보기 전에 공개해 두는 사전등록 문서로 못 박았다. 출시 직후 10일 점수를 비교의 출발점인 기준선으로 삼고, 이후 10일씩 끊어 견준다. 3%p 이상 차이가 99% 신뢰 수준으로 두 구간 연속 나와야 변화로 본다. 이전 모델 오푸스 5도 같은 조건으로 함께 돌리는데, 둘이 같이 움직이면 모델 대신 실행 환경을 의심하게 해 주는 대조군이다.
11월 3일까지 41일 동안 세 구간 모두 ‘변화 없음’이 나왔다. 셋째 구간의 +2.8%p도 기준선과 통계로 구분되지 않는 차이다.
| 구간 | 기간 | 기준선 대비 차이 | 판정 |
|---|---|---|---|
| 기준선 | 9월 24일~10월 3일 | 기준 | 기준 |
| 1구간 | 10월 4일~13일 | +0.7%p | 변화 없음 |
| 2구간 | 10월 14일~23일 | −1.5%p | 변화 없음 |
| 3구간 | 10월 24일~11월 2일 | +2.8%p | 변화 없음 |
하루 점수 22%p 급등락… 일봉 요동 속 평평한 열흘 평균선
본지가 LiveNerf가 공개한 41일치 원자료를 다시 계산했다. 일별 정답률은 10월 16일 48.1%에서 11월 1일 70.1%까지 22%p 벌어졌다. 하루 사이 16.7%p 떨어진 날도 있었지만, 10일씩 묶으면 평균은 57~62% 안에 머문다.
일봉은 요동쳐도 열흘 평균선은 평평했다.
본지 해석으로는, 며칠 써 보고 내린 판단은 이 하루치보다도 표본이 작다. 다만 이 흔들림이 문항 78개에서 오는 표본 잡음인지, 서빙 상태가 실제로 바뀐 것인지는 이 자료로 가를 수 없다.
모델이 답을 쓰며 내놓은 글자 조각의 양인 출력 토큰도 줄지 않았다. 일별 중앙값을 다시 구간별 중앙값으로 묶으면 기준선 582개, 3구간 603개다. LiveNerf 사전 검증(VALIDATION)에서 노력 수준을 낮췄을 때 가장 뚜렷하게 움직인 지표가 바로 이 토큰이었다.
high로 부른 오푸스 5.5가 몰래 덜 생각하게 됐다는 징후는 없다.
측정기가 봉인한 변수들… 하네스 고정과 7.5%p 검출 한계
LiveNerf가 재는 오푸스 5.5는 사용자가 쓰는 오푸스 5.5와 조건이 다르다. LiveNerf 벤치마크는 노력 수준을 매번 high로 못 박아 호출하고, 클로드코드 버전은 2.1.280으로 묶었다. 시스템 프롬프트를 짧은 것으로 바꾸고, 도구와 외부 연결, 사용자 메모 파일을 모두 끈 채 한 번 묻고 한 번 답한다.
모델을 감싸 지시문·도구·설정을 붙이는 실행 틀을 하네스(harness)라고 부른다. 작성자는 이 하네스를 묶어 둔 이유를 이렇게 설명했다.
“클로드코드를 업데이트하면 하네스가 바뀌고, 바뀐 하네스는 바뀐 모델과 똑같아 보인다.”
엔진만 시험대에 올렸고, 도로는 달려 보지 않았다.
작성자는 평가 문서(EVAL_CARD)에 최신 클로드코드 릴리스와 그 시스템 프롬프트, 다른 노력 수준, 긴 맥락, 도구 사용과 에이전트 작업은 재지 않는다고 적었다. 이보다 작은 변화는 잡을 수 없는 경계인 검출 한계(MDE)는 10일 구간당 약 7.5%p다. 사전 검증 데이터에서 오푸스 5.5 자리에 오푸스 5를 넣었을 때 정답률은 3.8%p 낮았지만, 99% 기준으로는 구분하지 못했다.
공식 확인된 과거 저하 4건… 측정 밖 제품 층에서 발생
클로드의 품질 저하가 공식 확인된 사례는 넷이다. 2025년 9월 앤트로픽은 그해 8월부터 인프라 버그 3건이 응답 품질을 때때로 떨어뜨렸다고 공개했다. 요청을 엉뚱한 서버로 보낸 라우팅 오류는 소넷(Sonnet) 4 요청의 약 0.8%에서 시작해 8월 31일 최악의 한 시간에는 16%까지 번졌다. 서빙 층 문제라 LiveNerf 같은 방식으로도 잡힐 수 있는 종류다.
나머지 세 건은 클로드코드 제품 영역에서 발생했다. 2026년 1월 클로드코드 엔지니어는 해커뉴스 스레드에서 1월 26일 생긴 하네스 문제를 28일 되돌렸다고 썼다. 4월에는 앤트로픽이 공식 사후 보고서를 내고 클로드코드 품질 불만이 제품 변경 세 가지 때문이었다고 밝혔다. 3월 4일 기본 노력 수준을 high에서 medium으로 내렸고, 오래된 생각 기록을 정리하려던 캐시 처리가 버그로 매 턴 기록을 지웠고, 답을 줄이라는 시스템 프롬프트가 들어갔다. 앤트로픽은 기본값을 내린 결정을 “잘못된 절충이었다”(This was the wrong tradeoff)고 적었고, API는 영향을 받지 않았다고 했다.
5월에는 클로드코드 성능 측정 도구를 운영하는 MarginLab 리서치팀이 오푸스 4.7의 점수 하락을 하네스 문제로 판단했다. 블로그에는 “모델 퇴행이 아니라 하네스 문제로 보인다”(This appears to be a harness issue, not a model regression)고 썼다.
| 시점 | 원인 | 층 |
|---|---|---|
| 2025년 8~9월 | 라우팅 오류 등 인프라 버그 3건 | 서빙 |
| 2026년 1월 | 클로드코드 하네스 문제 | 제품(클로드코드) |
| 2026년 3~4월 | 기본 노력 수준 하향·캐시 버그·시스템 프롬프트 | 제품(클로드코드) |
| 2026년 5월 | 오푸스 4.7 점수 하락, 하네스 문제로 판단 | 제품(클로드코드) |
엔진이 그대로여도 변속기 설정이 바뀌면 차는 굼떠진다. 2026년에 확인된 세 건은 모두 LiveNerf가 고정해 둔 바로 그 층에서 났다. 측정기가 일부러 범위 밖에 둔 자리다.
클로드코드 기본 설정의 역설… 측정은 high, 실전은 medium
클로드코드 공식 문서에 따르면 오푸스 5.5와 소넷 5.5, 하이쿠(Haiku) 5.5의 기본 노력 수준은 medium이다. 오푸스 5에서 high를 저장해 둔 사용자 설정도 넘어오지 않는다. 오푸스 5.5는 사용자가 따로 고를 때까지 medium으로 시작한다.
본지가 지난 3일 클로드코드에서 노력 수준 화면을 열자 medium 아래에 “이 모델의 기본 노력 수준”(The default effort for this model)이라는 설명이 떴다. 클로드 데스크톱 앱에서는 ‘중간’에 ‘추천’ 표시가 붙었다. 노력 수준을 높일수록 한도를 더 빨리 쓴다는 안내도 함께 나왔다.
앤트로픽은 자사 모델 설정 문서에서 오푸스 5.5 medium이 코딩·지식 작업 평가에서 오푸스 5 high와 같거나 나았다고 밝혔다. 회사 자체 측정이고, 독립 검증은 없다. LiveNerf의 9월 24일 사전 검증에서 medium은 high보다 출력 토큰이 26% 적었다. 정답률도 4.2%p 낮았지만, 이 차이는 오차 범위 안이었다.
시험장에선 시간을 넉넉히 주고, 실전에선 표준 시간만 주는 식이다. LiveNerf와 MarginLab 트래커는 high로 재고, 사용자는 medium으로 쓴다. 두 측정기의 결과는 사용자가 처음 받는 설정을 잰 값이 아니다.
체감과 측정의 괴리… 엔진의 정비소와 운전자의 승차감
착각 쪽 근거도 적지 않다. 하루치 점수가 20%p 넘게 흔들리면 며칠의 체감도 쉽게 빗나간다. 다른 측정 도구인 aistupidlevel도 11월 3일 기준 오푸스 5.5에서 이어지는 하락을 찾지 못했다. 클로드 공식 상태 페이지에 오른 오푸스 5.5 관련 장애는 10월 6일과 23~25일(UTC 기준)의 오류 증가 네 건이었고, 길어야 30분 남짓이었다.
하지만 체감이 늘 틀렸던 것은 아니다. 2026년 4월 당시 사용자들이 체감한 저하는 실재했다. 공식 사후 보고서에서도 앤트로픽 내부 사용과 평가가 처음에는 이를 재현하지 못했다고 인정했다. 2025년 인프라 사후 보고서도 자사 평가가 사용자들이 보고한 저하를 잡아내지 못했다고 인정했다. LiveNerf 작성자도 평가 문서에서 공급자가 측정용 계정을 알아보고 따로 대우할 가능성은 배제할 수 없다고 밝혔다. 호출마다 계정 이메일이 실리고, 일정이 늘 같으며, 문항이 공개 데이터셋에서 왔다는 이유다.
선례도 있다. 2023년 7월 발표된 아카이브 논문은 GPT-4의 소수 판별 정확도가 석 달 만에 크게 떨어졌다고 보고했다. 프린스턴대 연구진인 아르빈드 나라야난과 사야시 카푸르는 기술 분석 보고서에서 시험 문항이 전부 소수였다고 지적하며, 이 논문은 능력 저하를 보여 주지 못한다고 반박했다. 두 사람은 바뀐 것이 실력보다 답하는 버릇에 가깝다고 봤다.
정비소는 엔진을 말하고, 운전자는 승차감을 말한다.
측정은 high로 부른 모델에 답했고, 사용자가 묻는 것은 자기가 쓰는 제품이다. LiveNerf 작성자는 평가 문서에 이렇게 적어 두었다.
“변화 없음이라는 결과는 ‘이 범위와 민감도 안에서 변화가 검출되지 않았다’는 뜻이지, ‘아무것도 바뀌지 않았다’는 뜻이 아니다.”
측정기가 입증한 것은 엔진의 무죄일 뿐, 사용자가 마주한 제품의 결백이 아니다.
