핵심 요약
오픈AI(OpenAI)가 중국 인공지능(AI) 스타트업 문샷AI(Moonshot AI)와 관련된 인물들이 자사 AI 모델의 비공개 추론 과정을 대규모로 빼내려 했다고 주장했다. 그러나 오픈AI 역시 책과 뉴스 등 저작권 콘텐츠를 허가 없이 AI 학습에 이용했다는 소송을 받고 있어, 다른 기업의 모델 학습을 문제 삼는 오픈AI의 입장을 둘러싸고 논란이 제기됐다.
오픈AI는 9월 30일 “우리 모델에서 ‘보호된 추론(protected reasoning)’을 추출하려는 조직적인 캠페인을 발견해 차단했다”고 밝혔다. 가장 이른 활동은 7월 첫째 주에 포착됐다. 보호된 추론은 AI가 문제를 해결하면서 내부적으로 생성하지만 최종 답변에는 공개하지 않는 추론 정보를 말한다.
오픈AI는 “당시 활동에 참여한 모든 사람이 하나의 조직에 속했는지는 확인하지 못했다“고 밝혔다. 다만 핵심 활동군은 중국 AI 모델 키미(Kimi)를 개발한 문샷AI와 관련된 인물들에게 귀속된다고 판단했다.
활동은 7월 1일 소규모로 시작됐다. 오픈AI에 따르면 7월 24~25일에는 4000명 넘는 사용자가 특정 추출 패턴을 이용해 1만6000건의 요청을 보냈다. 추가 조사에서는 1만5000명 넘는 사용자 집단에서 관련 프롬프트 패턴이 발견됐다. 오픈AI는 7월 28일까지 이 캠페인을 차단했다고 밝혔다.
다만 오픈AI는 이 수치가 추출을 ‘시도한’ 횟수이며 모두 성공했다는 의미는 아니라고 설명했다.
해킹 아닌 ‘적대적 증류’
이번 사건은 오픈AI 서버나 데이터베이스를 직접 해킹해 정보를 빼낸 사건과는 다르다.
오픈AI는 공격자들이 암호화를 깨거나 데이터베이스를 침해하지 않았으며 저장된 이용자 대화에도 직접 접근하지 않았다고 밝혔다. 대신 모델과의 상호작용을 조작해 비공개 추론이 이용자에게 보이는 형태로 재생산되도록 했다는 것이 회사의 설명이다.
오픈AI는 이를 ‘적대적 증류(adversarial distillation)’로 규정했다.
모델 증류(model distillation)는 성능이 높은 AI 모델의 출력 결과를 학습 데이터로 사용해 더 작거나 다른 모델의 성능을 높이는 기술이다. 오픈AI도 2024년 10월 1일 자체 모델 증류 서비스를 공개했다. 당시 오픈AI는 GPT-4o 등 고성능 모델의 출력을 이용해 GPT-4o 미니 같은 비용이 낮은 모델을 미세조정할 수 있다고 설명했다.
따라서 모델 증류라는 기술 자체가 불법인 것은 아니다. 이번 사건에서 오픈AI가 문제 삼는 것은 자사가 허용한 증류가 아니라, 일반 이용자에게 공개하지 않는 추론 정보를 조직적으로 추출해 다른 모델의 학습이나 성능 향상에 사용하는 행위다.
오픈AI의 현행 사업자용 서비스 계약은 ‘역공학(Reverse Engineer)’의 범위에 모델 추출이나 모델 탈취 공격을 포함하고 있다. 오픈AI는 이번 캠페인이 자사 서비스 약관을 위반했다고 밝혔다.
오픈AI가 남 탓?
이번 사건에서 다른 논란을 제기한 곳은 영국 IT 전문매체 더레지스터(The Register)다.
더레지스터는 9월 30일 “오픈AI가 인터넷의 방대한 콘텐츠를 AI 학습에 이용해 저작권 분쟁을 벌이고 있는 가운데 중국 문샷AI 관련 인물들이 자사 모델을 대상으로 ‘증류 공격’을 벌였다고 주장했다”고 보도했다.
더레지스터는 기사 제목부터 오픈AI의 태도를 ‘아이러니’라고 표현했다. 미국 AI 기업들이 웹상의 콘텐츠를 AI 모델 학습에 이용하면서, 중국 경쟁사가 미국 모델을 증류하는 행위는 국가안보 위험으로 규정하고 있다는 점을 문제 삼은 것이다.
오픈AI는 작가와 언론사 등으로부터 저작권 콘텐츠를 허가 없이 AI 학습에 사용했다는 소송을 여러 치르고 있다.
더레지스터가 지적한 ‘아이러니’와 별개로 두 문제의 법적 구조도 동일하지 않다.
작가나 언론사가 오픈AI를 상대로 제기한 소송에서는 저작권이 있는 책·기사 등을 AI 학습 과정에서 복제·이용한 행위가 저작권 침해에 해당하는지, 오픈AI가 주장하는 공정이용(fair use)이 인정될 수 있는지 등이 주요 쟁점이다.
반면 이번 문샷AI 사건에서 오픈AI가 공개적으로 제기한 문제는 자사 서비스를 이용해 일반 이용자에게 공개되지 않는 모델의 추론을 조직적으로 추출했다는 것이다.
앤트로픽도 문샷AI·알리바바·딥시크 지목
중국 AI 기업의 모델 증류 문제를 제기한 미국 AI 기업은 더 있다.
테크크런치(TechCrunch)는 9월 10일 “앤트로픽(Anthropic)이 알리바바(Alibaba), 문샷AI, 딥시크(DeepSeek) 등 중국 기업들과 관련된 5개의 증류 캠페인에서 약 2억건의 모델 상호작용을 확인했다고 주장했다”고 보도했다.
앤트로픽에 따르면 이 가운데 알리바바에 귀속된 캠페인에서는 5~7월 약 3500개 계정을 통해 1억5100만건의 상호작용이 발생했다. 앤트로픽은 동일한 추론 추출용 프롬프트가 사용됐다는 점 등을 근거로 이를 알리바바의 큐원(Qwen) 모델 학습용 데이터를 확보하기 위한 하나의 캠페인으로 판단했다.
문샷AI와 관련해서도 앤트로픽은 10일 동안 약 5000개 계정에서 약 30만건의 요청이 클로드(Claude)로 전달됐다고 주장했다. 주된 대상은 앤트로픽의 오퍼스(Opus) 모델이었다.
이 같은 움직임은 국가안보 문제로 다뤄지고 있다.
로이터(Reuters)는 10월 1일 “미 하원 중국특별위원회 민주당 간사인 로 칸나(Ro Khanna) 의원이 오픈AI·앤트로픽·구글(Google)·메타(Meta)·스페이스XAI(SpaceXAI)에 중국 등 외국 세력이 AI 모델 가중치에 불법적으로 접근하려 했거나 성공한 사례에 관한 자료를 요구했다”고 보도했다.
로이터는 오픈AI와 앤트로픽이 문샷AI와 딥시크 같은 중국 AI 기업의 모델 증류 사례를 보고했지만, AI 모델을 작동시키는 실제 매개변수인 ‘모델 가중치(model weights)’ 자체가 탈취된 것으로 알려진 사례는 많지 않다고 전했다.
오픈AI도 모델 증류와 모델 가중치 탈취를 같은 것으로 설명하지 않는다. 이번 사건에서 회사가 공개한 것은 비공개 추론을 대규모로 추출하려 한 캠페인이며, 모델 가중치 자체가 탈취됐다고 발표한 것은 아니다.
오픈AI는 적대적 증류가 다른 모델을 학습시키면서 원래 모델에 적용된 안전장치는 이전하지 않을 수 있다는 점을 위험으로 들었다. 회사는 9월 30일 “대규모 증류는 동일한 수준의 안전 투자를 하지 않고도 첨단 능력의 이전을 가속할 수 있다(At scale, distillation can also accelerate the transfer of advanced capabilities without requiring the same investment in safety)”고 밝혔다.
Q&A
Q1. 모델 증류는 다른 AI 기업의 기술을 훔치는 것인가?
아니다. 모델 증류 자체는 정상적인 AI 개발 기법이다. 오픈AI도 공식 증류 서비스를 제공한다. 이번 사건에서는 허가된 증류가 아니라 비공개 추론을 조직적으로 추출하고 이를 다른 모델에 활용하려 했다는 오픈AI의 주장이 핵심이다.
Q2. 문샷AI가 오픈AI를 해킹했다는 뜻인가?
오픈AI 발표에 따르면 그렇지 않다. 회사는 공격자들이 암호화를 깨거나 데이터베이스를 침해하지 않았고 저장된 이용자 대화에도 직접 접근하지 않았다고 밝혔다. 모델과의 상호작용을 조작해 보호된 추론을 외부에서 볼 수 있는 형태로 재생산하려 했다는 것이 오픈AI의 설명이다.
Q3. 오픈AI의 저작권 소송과 문샷AI 증류 문제는 같은 법적 문제인가?
같다고 단정하기 어렵다. 오픈AI를 상대로 한 저작권 소송에서는 저작권 콘텐츠의 AI 학습 이용과 공정이용 등이 쟁점이다. 문샷AI 관련 사건에서는 비공개 모델 추론의 조직적 추출과 서비스 약관 위반 등이 문제로 제기됐다. 더레지스터가 제기한 것은 두 사건의 법리가 같다는 주장이 아니라, 다른 사람의 콘텐츠를 AI 학습에 이용해 저작권 분쟁을 벌이는 오픈AI가 자신의 모델을 다른 기업이 학습에 활용하는 것은 문제 삼고 있다는 ‘아이러니’에 대한 비판이다.
