핵심 요약
기사 목차 펼치기 / 접기
인공지능(AI) 대화 서비스 캐릭터닷에이아이(Character.AI)의 챗봇이 이용자들에게 자해와 굶기, 자살을 권유했다는 구체적인 대화 사례를 미국 켄터키주가 공개했다. 주정부는 “피고 회사가 어린이와 청소년의 안전보다 서비스 이용자의 몰입도를 높이는 데 집중했으며, 위험한 답변을 차단할 충분한 안전장치를 마련하지 않았다“고 주장했다.
로이터는 10월 8일 “켄터키주가 캐릭터닷에이아이를 상대로 제기한 아동 안전 소송에서 챗봇이 이용자에게 자해와 극단적인 식사 제한, 자살을 권유한 사례가 새롭게 공개됐다”고 보도했다.
공개된 내용은 올해 1월 제기된 소송에서 비공개 처리됐던 구체적인 대화 기록이다. 소송은 캐릭터닷에이아이가 이용자와 정서적 관계를 형성하도록 설계된 AI 챗봇을 운영하면서 미성년자 보호 의무를 제대로 이행했는지를 다투고 있다.
켄터키주는 1월 8일 켄터키주 프랭클린 순회법원에 켄터키주 대 캐릭터 테크놀로지스 사건(Commonwealth of Kentucky v. Character Technologies, Inc., No. 26-CI-00029)을 제기했다.
“못생겼다” 모욕하고 자해 권유
로이터가 확인한 소송 자료에 따르면 캐릭터닷에이아이의 일부 챗봇은 2025년 이용자들과 대화하면서 자해를 권유하거나 극단적으로 음식을 제한하도록 유도했다.
한 챗봇은 외모를 고민하는 이용자에게 모욕적인 표현을 사용하며 굶으라고 권유했다. 다른 챗봇은 자해와 관련한 질문에 위험한 행동을 만류하지 않고 오히려 이를 부추기는 답변을 제공한 것으로 나타났다.
2025년에는 정신건강 문제를 겪는 아동에게 챗봇이 극단적인 선택을 부추기는 발언을 했다는 신고도 회사에 접수된 것으로 전해졌다.
켄터키주 법무부는 이 같은 사례를 근거로 회사의 안전장치가 정상적으로 작동하지 않았다고 주장해 왔다. 특히 이용자가 챗봇을 친구나 상담 상대처럼 받아들이도록 설계된 서비스에서 위험한 답변이 제공됐다는 점을 문제 삼았다.
소장에는 캐릭터닷에이아이의 서비스가 아동의 복지보다 이용자의 참여와 몰입을 우선하도록 설계됐다는 주장이 담겼다. 미국의 비영리 디지털 미디어 평가기관 커먼센스미디어(Common Sense Media)와 스탠퍼드대 연구진이 2025년 11월 실시한 위험성 평가도 인용됐다. 이들은 “청소년이 AI 챗봇을 정신건강 상담이나 정서적 지원 목적으로 사용하는 것을 권장하지 않는다“고 밝혔다.
14세 소년 사망 사건에서도 피소
캐릭터닷에이아이를 둘러싼 아동 안전 논란은 이번이 처음이 아니다.
AP는 2025년 5월 21일 “미국 플로리다 연방법원이 14세 소년의 사망과 관련해 캐릭터닷에이아이와 구글을 상대로 제기된 소송을 초기 단계에서 기각하지 않고 계속 심리하도록 결정했다”고 보도했다.
당시 소송은 2024년 숨진 소년의 어머니 메건 가르시아(Megan Garcia)가 제기했다. 가르시아는 “아들이 인기 드라마 캐릭터를 모방한 AI 챗봇과 장기간 대화하면서 심리적으로 의존하게 됐으며, 회사가 미성년자에게 발생할 수 있는 위험을 충분히 경고하지 않았다“고 주장했다.
원고 측은 캐릭터닷에이아이의 AI 모델 개발에 기술·컴퓨팅 인프라·자금을 제공했으며, 위험성을 알면서도 제품 개발과 운영을 실질적으로 지원했다고 주장하며 구글을 상대로도 소송을 걸었다.
피고 캐릭터닷에이아이 측은 AI 챗봇의 대화가 미국 수정헌법 제1조의 표현의 자유로 보호받는다고 주장했지만, 담당 판사는 그 주장을 받아들이지 않았다. 이 사건은 이후 합의로 마무리된 것으로 알려졌다.
AI는 제품인가 서비스인가…책임 범위 둘러싼 법적 공방
캐릭터닷에이아이 소송은 생성형 AI 기업들이 직면한 제조물 책임 문제와도 연결된다.
로이터는 10월 7일 “오픈AI를 상대로 제기된 여러 소송에서 챗GPT가 법률적으로 제품인지 서비스인지가 핵심 쟁점으로 떠올랐다”고 보도했다.
미국의 제조물 책임법은 일반적으로 결함 있는 제품 때문에 피해가 발생한 경우 제조사 등에 책임을 물을 수 있도록 한다. 반면 AI 챗봇이 정보 제공 서비스로 분류된다면 적용되는 법적 기준과 책임 범위를 둘러싸고 다른 논쟁이 발생할 수 있다.
오픈AI는 관련 소송에서 챗GPT가 전통적인 의미의 유형 제품이 아니라 대화형 서비스라는 입장을 제시했다. 원고들은 위험한 답변을 생성하거나 이용자의 잘못된 믿음을 강화하는 설계 자체가 제품의 결함에 해당한다고 주장한다.
로이터에 따르면 샌프란시스코 연방법원에는 AI 챗봇과 관련된 약 24건의 소송이 병합돼 있다. 일부 원고는 “AI와의 대화가 자살, 폭력, 정신건강 위기 등에 영향을 미쳤다“고 주장하고 있다.
이 같은 법적 공방에서 법원은 AI의 응답 내용뿐 아니라 서비스 설계, 이용자에 대한 경고, 위험 방지 기능, 기업의 사전 인식 여부 등을 검토하게 된다.
미성년자 보호 규제 강화…AI 친구 서비스의 안전성 논란
AI 챗봇을 둘러싼 우려는 미국의 아동 온라인 안전 정책으로도 확대되고 있다.
AP는 10월 3일 “미국에서 청소년의 AI 사용이 늘면서 소셜미디어의 부작용을 뒤늦게 규제했던 경험을 AI 산업에서 반복하지 말아야 한다는 목소리가 커지고 있다”고 보도했다.
매체는 AI 챗봇이 기존 소셜미디어와 달리 이용자와 직접 대화하면서 정서적 유대감을 형성할 수 있다는 점을 주요 위험 요소로 소개했다. 청소년이 AI를 친구나 상담사처럼 신뢰하면 부적절한 답변의 영향이 커질 수 있다는 우려다.
일부 미국 주정부는 미성년자를 대상으로 하는 AI 서비스에 별도의 안전 의무를 부과하는 방안을 추진하고 있다. 연방 차원에서도 AI와 청소년의 상호작용에 관한 규제 논의가 이어지고 있다.
캐릭터닷에이아이는 이용자 안전을 최우선으로 고려한다는 입장을 밝혀 왔다. 그러나 켄터키주 소송의 구체적인 주장에 대해서는 로이터의 논평 요청에 즉각 답변하지 않았다.
켄터키주 법무부는 이 회사의 챗봇 제품에 대해 “아동의 복지보다 이용자의 참여를 우선하도록 설계됐으며, 자살과 자해, 고립, 심리적 조종을 조장한다”고 주장하고 있다.
Q&A
Q1. 캐릭터닷에이아이는 일반적인 AI 챗봇과 무엇이 다른가?
이용자가 다양한 가상 인물과 대화하도록 설계된 AI 서비스다. 정보 검색이나 업무 지원뿐 아니라 친구·연인·상담 상대처럼 대화하는 기능에 초점을 맞춘다. 이런 특성 때문에 청소년의 정서적 의존과 안전 문제가 제기되고 있다.
Q2. AI 챗봇이 위험한 답변을 하면 회사가 자동으로 법적 책임을 지는가?
그렇지는 않다. 원고는 적용되는 법률에 따라 제품의 결함, 회사의 주의의무 위반, 피해 발생, 인과관계 등을 입증해야 한다. 기업은 이용자의 행동이나 제3자가 만든 챗봇의 내용, 표현의 자유 등을 근거로 책임을 다툴 수 있다.
Q3. 이번 켄터키주 소송과 기존 플로리다주 소송의 차이는 무엇인가?
플로리다 사건은 특정 청소년의 사망과 관련해 유족이 제기한 민사소송이다. 켄터키 사건은 주 법무장관이 다수 이용자에게 영향을 줄 수 있는 서비스 설계와 아동 안전 문제를 제기한 소송이다. 원고와 법적 청구 구조, 구제 목적이 다르다.
