오픈AI·앤트로픽·구글이 제공하는 대형언어모델(LLM) API에서 “추론(reasoning) 흔적”이 암호화된 블록 형태로 클라이언트에 전달된 뒤 대화가 이어질 때 다시 서버로 전송된다는 주장이 제기됐다.
스틸드-소팃츠(Stolen-Thoughts) 매체에 따르면, 이 암호화 블록은 원래 문맥 밖에서도 재생(replay) 가능해 같은 제공사의 약한(‘jailbroken’) 모델에 주입하면 더 강한 모델의 원문 추론을 그대로 추출할 수 있다.
해당 글은 오픈AI, 앤트로픽, 구글의 ‘프런티어 모델’ 전반에서 이를 시연했다고 밝혔다. 글쓴이는 API가 보고하는 숨은 thinking 토큰(hidden thinking tokens) 개수와 복호화된 추론에 포함된 토큰 수가 밀접하게 맞아떨어진다고 설명했다.
또한 글쓴이는 깃허브(GitHub)와 허깅페이스(Hugging Face)에서 공개된 클로드(Claude), GPT, 제미나이(Gemini) 모델의 에이전트 궤적 6,708개를 수집해, 암호화된 추론 블록 315,320개를 복원했다고 주장했다. 복원된 숨은 추론에는 실제 비밀정보와 민감한 데이터가 포함됐으며, 실제 비벤치마크 사용자 세션만 추려 704개의 서로 다른 개인정보 관련 ‘아티팩트’를 복구했다고 밝혔다.
글에 따르면 이 가운데 API 키 62개, 비밀번호 33개, 액세스 토큰 24개, 개인 이메일 30개가 포함됐다. 또 704개 중 64개는 보이는 세션에서는 전혀 나타나지 않고 추론 블록 안에서만 확인됐다고 덧붙였다.