보안 연구진이 챗GPT 등 주요 AI 업체의 추론(Reasoning) 모델에서 내부 ‘생각’ 과정이 담긴 암호화 토큰을 API 취약점으로 추출할 수 있다고 밝혔다.
더디코더(The Decoder)는 8월 12일 기사에서, 공개된 세션을 스캔한 결과 수십 개의 비밀번호와 API 키가 발견됐다고 전했다. 연구진은 오픈AI의 o-시리즈, 앤트로픽(Anthropic)의 클로드(Claude), 구글(Google)의 제미나이(Gemini) 등 주요 제공업체 모델에서 작동하는 방식이라고 설명했다.
연구진은 추론 모델이 복잡한 작업을 수행할 때 내부 추론 토큰을 생성하며, 이 과정은 지적재산 보호 등을 이유로 원문 형태로는 사용자에게 요약만 보여주거나 완전히 숨겨진다고 지적했다. 이 암호화된 추론 단계를 업체 API 취약점을 통해 복원하면, 대부분의 질의에서 청구되는 ‘생각(Thinking) 토큰’ 수와 추출 토큰 수가 일치해 사실상 전체 내부 추론을 가로채는 수준이라고 주장했다.
알렉산더 판필로프(Alexander Panfilov)가 이끄는 연구팀은 암호화된 추론이 한 제공업체 안에서는 세션·사용자·모델 간에 ‘이식’ 가능하게 재현될 수 있다고 말했다고 더디코더는 전했다. 예로 앤트로픽의 더 작은 모델인 하이쿠 4.5(Haiku 4.5)가 오푸스 4.8(Opus 4.8)의 원문 추론을 단어 단위로 받아쓰게 만들 수 있다고 설명했다. 같은 요령이 오픈AI와 제미나이에도 적용된다고 덧붙였다.
이 작업은 5월 암호학 전문가 매슈 그린(Matthew Green)이 ‘암호화 추론 블롭이 원래 맥락 밖에서도 재생(replay)될 수 있다’는 취지로 업체에 보고한 내용과 연결된다고 소개됐다. 더디코더는 판필로프의 설명을 인용해, 당시 업체 측은 ‘사이드 채널이나 리플레이에서 보안 영향이 보이지 않는다’는 반응을 보였다고 전했다.
연구는 ‘증류(distillation)’ 논쟁에도 불을 지핀다고 더디코더는 밝혔다. 덜 강한 모델이 더 강한 모델의 출력(특히 추론 데이터)로 훈련돼 성능이 올라가는 방식이어서, 추출된 추론 흔적이 훈련 재료로 쓰일 수 있다는 우려가 나온다는 것이다. 연구진은 일부 중국 모델 제작사들이 이런 추론 흔적으로 자체 모델을 학습할 수 있다는 가능성을 제기하며, 모델 ‘키미-케이3(Kimi-K3)’ 사례에서 오푸스의 몇몇 추론 토큰이 선입력되면 출력이 오푸스 쪽으로 유의미하게 이동한다고 주장했다고 전했다.
또한 이 취약점은 사용자 데이터 노출로 이어질 수 있다고 했다. 공개된 약 7000개의 추론 관련 세션을 훑어 62개의 API 키, 33개의 이메일 주소, 33개의 비밀번호 등 민감 정보가 포함됐다고 연구진은 밝혔다. 연구진은 AI 랩과의 표준 취약점 공개 절차를 따랐으며, 판필로프에 따르면 업체들이 이미 일부 문제를 패치했고 추가 수정을 진행 중이라고 설명했다.