클로드 코드(Claude Code)가 작업 뒤 입력창에 띄우는 다음 메시지 제안은 이용자 편의보다 모델 학습에 더 큰 가치가 있을 수 있다는 분석이 나왔다. 소프트웨어 엔지니어 조하이브 안사리(Zohaib Ansari)는 10월 7일 자신의 기술 블로그에서 이 기능이 개발자의 선호와 수정 내용을 자연스럽게 수집할 수 있다고 주장했다.
제안 메시지가 만드는 선호 데이터
안사리는 클로드 코드가 작업을 마친 뒤 ‘테스트를 실행하라’거나 ‘변경 사항을 커밋하라’는 식의 다음 메시지를 입력창에 미리 채워준다고 설명했다. 이용자는 이를 그대로 보내거나 고칠 수 있다. 그는 직접 써야 할 문장을 몇 초 아끼는 정도로는 기능의 가치가 크지 않다고 봤다.
그대로 전송하면 제안이 적절했다는 긍정 신호가 되고, 메시지를 수정하면 원래 제안과 수정본을 비교해 모델이 어떤 점을 놓쳤는지 파악할 수 있다는 게 안사리의 분석이다. 예컨대 ‘테스트를 실행하라’는 제안을 ‘전체 테스트는 10분이 걸리니 인증 관련 테스트만 실행하라’고 바꾸면, 프로젝트 사정을 아는 개발자가 필요한 범위를 구체적으로 알려주는 셈이다. 제안은 앞선 대화 내용을 바탕으로 다음 사용자 메시지를 예측한다.
실제 작업에서 얻는 학습 신호
안사리는 이런 상호작용이 사람의 선호를 모아 모델을 개선하는 인간 피드백 기반 강화학습(RLHF)에 활용될 수 있다고 봤다. 통상 모델 답변에 대한 선호 데이터를 만들려면 사람이 결과를 읽고 평가해야 하므로 비용이 들고, 다른 사람의 코인베이스(codebase)를 검토하는 평가자는 개발자의 의도를 정확히 알기 어렵다는 설명이다. 반면 제안 메시지의 수락·수정은 개발자가 실제 작업을 하는 과정에서 나온다.
다음 사용자 메시지를 예측하는 일 자체도 학습 목표가 될 수 있다고 안사리는 덧붙였다. 리팩터링 뒤 테스트를 하고, 테스트가 통과하면 변경 사항을 커밋하는 식으로 작업이 이어지는 순서를 모델이 익히면, 사용자가 요청하기 전에 다음 행동을 제안하거나 수행하는 에이전트 개발에 도움이 될 수 있다는 견해다.
다만 안사리는 앤트로픽(Anthropic)이 실제로 이 신호를 어떻게 활용하는지 알지 못하며, 이용자 세션이 학습에 쓰이는지는 요금제와 개인정보 설정에 달렸다고 선을 그었다. 따라서 제안 기능이 실제 학습 데이터 수집에 쓰인다는 확인된 사실이 아니라, 기능 설계가 모델 학습에도 유용할 수 있다는 개인적 분석이다.