일론 머스크(Elon Musk)의 인공지능(AI) 기업 xAI가 챗봇 그록(Grok)의 이미지·영상 생성 모델을 개발하면서 실제 아동 성착취물(CSAM·Child Sexual Abuse Material)을 학습 데이터로 사용했다는 소송이 미국 법원에 제기됐다.
그동안 그록이 실존 미성년자의 사진으로 성적 딥페이크를 생성했다는 소송은 여러 건 제기됐지만, xAI가 CSAM을 그록의 학습에 사용했다고 주장한 소송은 처음이다. 원고 이름은 Jane Doe다. 이는 미국 소장에서 당사자를 익명 표기할 때 주소 사용하는 이름이다.
8월27일 아스테크니카(Ars Technica)와 사이버스쿱(CyberScoop) 보도에 따르면 ‘제인 도(Jane Doe)’라는 가명을 사용하는 피해자는 8월26일 미국 캘리포니아 북부연방법원에 집단소송을 제기했다. 원고는 어린 시절 자신을 대상으로 제작된 실제 CSAM뿐 아니라 이를 바탕으로 그록이 새로 생성한 이미지까지 xAI의 AI 학습 과정에 들어갔다고 주장했다.
다만 이는 아직 원고 측의 주장으로 법원에서 입증된 사실이 아니다. 특히 “실제 CSAM이 그록의 사전학습 데이터셋에 포함됐다는 주장은 소장에서 구체적인 데이터셋이나 내부 학습 기록을 제시하는 단계까지 나아가지는 않았다”고 매체는 전했다.
20년 전 피해 이미지에 ‘해시값’…“그록이 다시 만들었다”
소장에 따르면 원고는 2000년대 초 취학 전 아동이었을 때 성적 학대를 당했고, 가해자들은 이를 촬영해 온라인에서 유통했다. 피해 영상과 이미지는 이후 미국 실종·착취아동센터(NCMEC)와 캐나다 아동보호센터(Canadian Centre for Child Protection) 등이 추적하는 알려진 CSAM에 포함됐다.
이 과정에서 활용되는 것이 ‘해시(hash)’다. 파일의 내용을 계산해 일종의 디지털 지문을 만드는 방식으로, 이미 확인된 불법 이미지와 동일하거나 관련된 파일을 찾아내는 데 활용할 수 있다.
원고 측은 이처럼 오래전부터 알려진 해시값을 가진 자신의 CSAM이 그록의 이미지·영상 생성 기능을 구축하는 데 사용된 데이터셋에 포함됐다고 주장했다. 또 캐나다 아동보호센터가 원고를 묘사한 AI 생성 CSAM을 xAI에서 확인했다고 소장에 적었다.
여기서 이번 소송의 핵심 쟁점이 나온다. 단순히 이용자가 그록을 악용해 불법 이미지를 만들었다는 주장을 넘어, 그록이 애초 그런 이미지를 학습했기 때문에 특정 피해자를 재현하는 새로운 CSAM을 생성할 수 있었는지를 문제 삼고 있기 때문이다.
그러나 현재 공개된 자료만으로는 xAI가 원고의 실제 피해 이미지를 어떤 경로로 취득했는지, 어느 모델의 어떤 학습 단계에서 사용했는지까지 확인되지는 않는다. 아스테크니카 역시 이 부분에 대한 소장의 설명이 상세하지 않다고 지적했다.
‘그록이 만든 이미지→다시 AI 학습’ 구조도 쟁점
원고 측은 두 번째 학습 경로에 대해서는 보다 구체적인 논리를 제시했다. X에 공개된 게시물과 그록 이용 과정에서 생성된 결과물이 다시 모델 개선에 사용될 수 있다는 xAI와 X의 데이터 정책을 문제 삼았다.
X의 그록 안내에 따르면 X는 공개 게시물과 관련 메타데이터, 그록과의 상호작용·입력·결과 등을 xAI와 공유해 생성형 AI 모델의 학습과 미세조정에 이용할 수 있다. 사용자는 설정에서 이를 거부할 수 있다.
SpaceXAI의 소비자 FAQ도 이용자의 콘텐츠와 그록의 응답을 모델 학습에 사용할 수 있으며 이용자가 이를 통제할 수 있다고 설명한다. 동시에 사전학습 데이터에는 품질 필터를 적용해 폭력적인 콘텐츠 등 모델이 학습하기를 원하지 않는 정보를 제거한다고 밝히고 있다.
원고 측은 바로 이 지점을 공격한다. 불법적인 AI 생성 CSAM이 X에 공개되거나 그록의 결과물로 생성된 뒤 학습 파이프라인으로 다시 들어갔다면, **‘그록이 생성한 불법 이미지가 다시 그록을 학습시키는 순환 구조’**가 만들어질 수 있다는 주장이다.
다만 X와 SpaceXAI의 공개 정책이 사용자 콘텐츠를 학습에 사용할 수 있다고 밝힌 것과, 문제의 특정 CSAM이 실제 학습에 사용됐다는 것은 별개의 사실이다. 후자는 향후 증거개시(discovery)를 통해 xAI의 데이터 수집·필터링·학습 기록 등이 확인돼야 할 핵심 쟁점이다.
NCMEC “2025년 AI 관련 CSAM 신고 18만건 넘어”
이번 소송은 생성형 AI와 CSAM의 결합이 이미 대규모 아동보호 문제로 번진 상황에서 나왔다.
미국 실종·착취아동센터(NCMEC·National Center for Missing & Exploited Children)의 2025년 사이버팁라인(CyberTipline) 통계에 따르면, 지난해 생성형 AI와 관련된 아동 성착취 신고 가운데 18만2000건 이상이 AI 생성 CSAM을 보유·생성하거나 생성하려 한 사례와 관련됐다. 2023년 이후 NCMEC가 AI 생성 CSAM으로 분류한 이미지와 영상은 15만8000건을 넘었다.
NCMEC는 아동 성착취물 신고 시스템을 운영하고 관련 정보를 수사기관에 제공하는 기구다.
더 중요한 대목은 AI 학습 데이터 자체에서 CSAM이 발견되는 문제가 이미 현실이 됐다는 점이다. NCMEC가 미 상원에 제출한 자료에 따르면 2025년 기업들이 “AI 학습 데이터에서 발견됐다”고 표시한 CSAM 신고만 1만2000건을 넘었다.
이는 특정 기업이 불법 콘텐츠를 고의로 학습했다는 의미는 아니다. 오히려 대규모 인터넷 데이터를 수집해 AI를 학습하는 과정에서 이미 온라인에 유통되는 CSAM을 얼마나 효과적으로 찾아내고 제거할 것인지가 AI 기업의 데이터 관리 문제로 떠올랐다는 의미다.
아마존(Amazon)의 사례는 이를 보여준다. 아마존은 올해 공개한 CSAM 대응 보고서에서 AI 학습에 사용하려던 공개 데이터 수십억건을 검사해 약 109만8000건을 잠재적 CSAM으로 탐지하고 학습 전에 제거했다고 밝혔다. 이후 사람이 검토한 결과 99.6%는 오탐이었으며 4376건이 실제 CSAM으로 확인됐다고 설명했다.
따라서 이번 소송에서 중요한 질문은 단순히 대규모 학습 데이터에 CSAM이 섞여 있었느냐가 아니다. xAI가 알려진 CSAM을 탐지·차단할 수 있었는지, 실제로 걸러냈는지, 발견한 뒤 어떻게 처리했는지가 법적 책임 판단의 핵심이 될 가능성이 있다.
미 상원도 xAI의 아동 성착취 신고 문제 조사
xAI의 CSAM 관리 문제는 이미 의회의 조사 대상에도 올랐다.
미 상원 법사위원회는 4월9일 척 그래슬리(Chuck Grassley) 위원장의 조사 자료를 공개하면서 xAI를 포함한 8개 기술기업의 온라인 아동 성착취 신고 관행을 문제 삼았다. NCMEC는 일부 기업이 AI 학습 데이터에서 발견된 CSAM이나 수사에 필요한 핵심 정보를 충분히 신고하지 않았다고 지적했다.
다만 이후 상황은 개선됐다. NCMEC의 2025년 통계는 xAI의 신고 품질이 2026년 초 상당히 개선돼 법 집행기관이 활용할 수 있는 사건이 늘었다고 밝혔다.
이미 ‘그록이 CSAM을 만들었다’는 소송 잇따라
이번 사건 이전에도 그록을 둘러싼 CSAM 소송은 이어졌다. 차이는 기존 사건들이 주로 **AI의 출력(output)**을 문제 삼았다면 새 소송은 AI의 입력·학습(training) 단계까지 책임론을 확장했다는 점이다.
3월16일 미 캘리포니아 북부연방법원에 제기된 별도 집단소송에서는 테네시주 청소년 3명이 그록을 이용해 자신들의 실제 사진을 성적으로 조작한 이미지가 만들어졌다고 주장했다. 이 사건의 소장은 사건번호 Jane Doe 1 et al. v. X.AI Corp. et al., No. 5:26-cv-02246으로 제출됐다. 당시 소장에 따르면 원고들은 연방법상 아동 성착취물 제작·배포·소지 관련 규정 등을 근거로 손해배상을 요구했다.
이후 소송에는 그록을 이용해 어린 시절 자신의 사진 한 장에서 7000장이 넘는 성적 이미지가 만들어졌다고 주장하는 또 다른 여성이 합류했다. 워싱턴포스트(The Washington Post)는 8월15일 이 사건을 보도했다.
이번 사건은 여기서 한 단계 더 나간다. 피해자의 논리가 받아들여진다면 AI 기업은 단순히 “사용자가 불법 프롬프트를 입력했다”는 문제뿐 아니라 어떤 데이터를 모델에 넣었고, 생성된 불법 결과물을 다시 학습 데이터에서 제거했는지까지 설명해야 할 수 있다.
‘마샤법’ 적용…1인당 15만달러 손해배상 가능
원고가 법적 근거 가운데 하나로 제시한 것은 이른바 마샤법(Masha’s Law)으로 불리는 연방법상 민사구제 제도다.
미 연방법전 18 U.S.C. §2255는 미성년자일 때 §2251·§2252·§2252A 등 열거된 범죄의 피해자가 된 사람이 그 위반으로 인적 피해를 입은 경우 연방법원에 민사소송을 제기할 수 있도록 한다. 피해자는 실제 손해액 또는 15만달러(약 2억900만원)의 법정 손해액(liquidated damages)과 합리적인 변호사 비용 등을 청구할 수 있다.
마샤법은 2006년 아담 월시 아동보호·안전법(Adam Walsh Child Protection and Safety Act)의 일부로 제정된 §2255 개정 조항의 명칭이다. 당시 법은 성인이 된 피해자도 미성년 시절의 범죄를 근거로 소송할 수 있도록 하고 당시 최소 손해액을 5만달러에서 15만달러로 높였다. 미 연방법전의 입법 연혁에도 이 내용이 확인된다.
그러나 §2255에 따른 배상이 자동으로 인정되는 것은 아니다. 원고는 법에 열거된 기초 범죄의 피해자였고 그 위반으로 법이 요구하는 손해를 입었다는 점 등을 입증해야 한다. 따라서 “그록이 CSAM을 생성했다”는 사실만으로 곧바로 xAI에 15만달러의 배상책임이 발생한다고 볼 수는 없다.
원고는 금전배상과 함께 xAI 서버에 저장돼 있거나 AI 학습에 사용되고 있는 그록 생성 CSAM을 폐기하고, 앞으로 그록이 CSAM을 생성하지 못하도록 법원이 명령해 달라고 요구했다.
결국 이번 소송이 던지는 새로운 법적 질문은 AI가 무엇을 생성했느냐뿐 아니라 무엇을 배웠느냐다. 특히 이미 해시값이 등록돼 추적되고 있는 불법 콘텐츠가 대규모 AI 학습 데이터에 들어갔다면 AI 개발사가 어느 수준의 탐지·제거 의무를 부담하는지가 쟁점이 될 수 있다.
xAI 측의 법적 책임이나 CSAM 학습 여부에 관한 법원의 판단은 아직 나오지 않았다. 아스테크니카와 사이버스쿱은 회사 측에 논평을 요청했으나 답변을 받지 못했다고 전했다.
Q&A
Q1. 이번 소송은 기존 그록 CSAM 소송과 무엇이 다른가.
기존 사건은 주로 이용자가 그록으로 미성년자의 성적 이미지를 생성할 수 있었다는 ‘출력’ 문제를 다뤘다. 이번 사건은 실제 피해자의 CSAM과 이를 바탕으로 생성된 새로운 CSAM이 그록의 ‘학습 데이터’에도 들어갔다고 주장한다는 점이 다르다.
Q2. xAI가 실제 CSAM을 학습했다는 사실이 확인됐나.
아니다. 현재는 원고의 주장이다. 특히 실제 피해 이미지가 어떤 데이터셋을 통해 어느 모델 학습에 사용됐는지를 입증할 구체적인 내부 자료는 공개되지 않았다. 향후 증거개시가 중요한 이유다.
Q3. 이미 알려진 CSAM은 AI 학습 전에 찾을 수 있나.
해시값 등 기존 탐지 기술을 이용할 수 있다. 실제로 아마존은 공개 웹 데이터를 AI 학습에 사용하기 전 검사해 확인된 CSAM을 제거했다고 밝혔다. 다만 탐지 방식과 오탐률, 변형된 이미지 탐지 능력 등은 별도 문제다.
Q4. 마샤법에 따르면 피해자는 무조건 15만달러를 받나.
아니다. 현행 18 U.S.C. §2255는 요건을 충족한 피해자가 실제 손해액 또는 15만달러(약 2억900만원)의 법정 손해액을 청구할 수 있도록 하지만, 먼저 법률이 정한 기초 범죄와 피해·인과관계 등 적용 요건을 충족해야 한다.
Q5. 이번 사건이 AI 업계에 중요한 이유는 무엇인가.
AI 안전 책임의 범위를 출력 필터에서 학습 데이터 관리로 넓힐 수 있기 때문이다. 알려진 불법 콘텐츠를 학습 전에 탐지했는지, 생성된 불법 결과물이 재학습되는 것을 막았는지, 이미 학습한 데이터를 모델에서 어떻게 제거할 것인지가 새로운 규제·소송 쟁점이 될 수 있다.
