앤트로픽(Anthropic)은 클로드(Claude)의 내부 추론 토큰을 빼내는 시도를 막기 위한 방어 조치로 추출량을 90~99% 줄였다고 밝혔다. 더디코더(The Decoder)는 10월 13일 앤트로픽의 발표 내용을 보도했다.
클로드 추론 토큰 추출, 최대 99% 감소
추론 토큰은 모델이 답을 내놓기까지 거치는 내부 사고 과정을 담은 정보다. 앤트로픽은 이를 빼내 다른 AI 모델을 훈련하는 대규모 증류 공격에 대응하고 있으며, 새 방어 조치로 추출된 추론 토큰의 양을 90~99% 줄였다고 설명했다. 공격자는 수십만개의 가짜 계정을 동원해 모델에 질의를 보내는 방식으로 정보를 모은다는 것이다.
증류는 기존 모델의 기능을 모방해 더 작은 모델을 훈련하는 방식이다. 앤트로픽은 공격자들이 클로드의 내부 추론 정보뿐 아니라 모델의 기능을 체계적으로 복제하려 한다고 주장했다. 회사는 중국 기업 지푸(Zhipu)와 문샷AI(Moonshot)를 관련 활동에 참여한 기업으로 지목했다. 지푸는 자사 GLM-5.3 모델을 위해 미국 주요 모델의 사이버 보안 역량을 빼냈다는 의혹을 받고 있으며, 문샷AI는 질의를 클로드를 거쳐 비밀리에 전달한 것으로 앤트로픽은 주장했다.
계정 차단과 내부 추론 접근 제한
앤트로픽은 클로드의 내부 추론 단계에 대한 접근을 제한하고, 추출 시도를 감지하는 분류기를 운영한다고 밝혔다. 의심 계정은 자동으로 차단하는 방식이며, 지금까지 차단된 계정은 수만개에 이른다. 빼낸 역량은 외국의 군사·감시 시스템에 활용될 수 있다.
앤트로픽은 다른 AI 개발사에도 유사한 보호 조치를 도입하라고 촉구했다. 다만 탐지와 차단 과정에서 정상적으로 서비스를 이용하는 사용자까지 영향을 받는 경우가 있다고 인정했다. 보안 조치를 강화하는 동시에 정상 이용자의 접근을 막지 않는 것이 과제로 남은 셈이다. 기사에는 추가 출시 일정이나 가격, 방어 체계를 다른 개발사와 공유할 계획은 제시되지 않았다.