앤트로픽(Anthropic)에서 클로드(Claude) 파인튜닝을 담당하는 잭슨 커니언(Jackson Kernion)이 최신 AI 모델의 수학·코드·추론 능력은 향상됐지만 글쓰기 품질은 정체되거나 악화한 이유를 설명했다. 그는 오푸스 4.6(Opus 4.6)을 앤트로픽의 마지막 좋은 ‘글쓰기 모델’로 평가하면서, 이후 모델이 사람보다 다른 AI 모델이 이해하기 쉬운 방식으로 글을 쓰도록 학습된 점을 원인으로 지목했다. 더디코더는 24일 커니언의 설명을 보도했다.
클로드 글투가 달라진 이유
커니언에 따르면 새 모델들은 수학과 코딩, 추론 문제를 더 잘 풀도록 최적화되는 과정에서 인간 독자가 읽기 편한 설명보다 기술적으로 많은 정보를 담은 답변을 내놓게 됐다. 특히 모델이 다른 대규모언어모델(LLM)을 대상으로 한 기술 설명을 학습하면서, 사람이 보기에는 어색한 표현과 지나치게 빽빽한 문장이 나타났다는 것이다. 그는 이런 특유의 문체를 ‘클로드식(Claudeish)’ 표현이라고 설명했다.
핵심 원인은 강화학습의 보상 구조다. 일부 보상은 AI 모델이 답변을 잘 이해하는지를 높이는 방향으로 작동하고, 다른 보상은 사람이 쉽게 이해할 수 있는지를 개선하는 데 초점을 둔다. 수학과 코드 학습을 강화할수록 인간 독자가 따라갈 수 있는 간결한 설명에 보상을 줘 적극적으로 보완해야 한다는 설명이다. 커니언은 클로드가 사람을 위한 글보다 AI 모델을 위한 글을 쓰도록 ‘LLM 심리’에 맞춰 조정됐다고 표현했다.
이 과정에서 모델은 인간보다 훨씬 큰 작업 기억을 활용하고, 훨씬 세밀한 수준의 정보를 포착한다. 그 결과 AI 모델 사이에서는 효율적인 문체가 인간 독자에게는 핵심과 부연이 한꺼번에 쏟아지는 ‘과도하게 조밀한 정보 덩어리’처럼 느껴질 수 있다. 커니언은 이를 특정 집단 안에서만 통하는 의사소통 방식에 비유하며, 내부 구성원에게는 효과적이어도 외부인이 이해하기 어려운 문체가 형성될 수 있다고 설명했다.
오푸스 5.5의 개선과 한계
앤트로픽은 오푸스 5.5(Opus 5.5)에서 AI 모델의 이해도와 인간 독자의 가독성 사이에서 더 나은 균형을 찾았다고 커니언은 밝혔다. 그는 오푸스 4.6 이후 출시된 모델의 글쓰기에 대해 오푸스 5.5에서 가장 만족했다고 평가했지만, 새 모델이 이전 모델을 능가한다는 뜻은 아니라고 선을 그었다. 수학·코드·추론 능력의 개선과 자연스러운 글쓰기 사이에는 여전히 조정이 필요하다는 취지다.
커니언은 이 문제가 해결하기 어려운 과제라며 앞으로도 개선을 이어가겠다고 했다. 원문에는 추가 개선의 구체적인 일정이나 가격, 후속 모델의 출시 계획은 제시되지 않았다. 이번 설명은 모델 성능을 높이는 학습이 항상 인간에게 더 좋은 답변으로 이어지는 것은 아니며, 강화학습 과정에서 누구의 이해도를 보상할지에 따라 AI의 문체가 달라질 수 있음을 보여준다.