美 아동용 AI 장난감 안전성 논란…칼·성냥 위치 알려주고 성인용 제품 추천까지

미국 소비자단체, AI 장난감 7종 조사…안전장치 개선해도 부적절한 답변 반복, 캘리포니아는 판매 금지 입법

어린이와 대화하는 AI 곰 인형이 칼과 성냥, 성인용 제품에 관한 답변을 제공하는 모습을 형상화한 이미지. 오른쪽에는 AI 장난감 안전성 규제와 캘리포니아주의 판매 금지 조치를 상징하는 요소가 배치돼 있다.
미국 소비자단체의 조사에서 일부 AI 장난감이 어린이에게 칼과 성냥의 위치를 알려주거나 성인용 제품을 추천하는 문제가 드러났다. 캘리포니아주는 어린이용 AI 동반자 챗봇 장난감의 판매를 제한하는 법률을 마련했다. (AI 생성 이미지)
핵심 요약 AI 요약
1
AI 장난감 7종 조사:미국 공익연구그룹은 지난해 문제가 제기된 장난감 4종과 새로운 제품 3종을 조사해 일부 제품에서 위험한 답변을 확인했다.
2
위험 물품과 성적 답변:고랩스의 AI 판다는 칼을 찾을 수 있는 장소와 성인용 제품 브랜드를 알려줬고, 로펫의 카모모는 성냥에 불을 붙이는 방법을 설명했다.
3
안전장치 성능 차이:일부 제품은 대화가 길어지자 부적절한 답변을 했지만, 폴로토이의 쿠마는 긴 대화에서도 부적절한 답변을 하지 않았다.
4
캘리포니아 판매 금지:캘리포니아주는 2027년부터 4년간 16세 미만을 대상으로 지속적인 관계를 형성하도록 설계된 AI 동반자 챗봇 장난감의 제조와 판매를 금지한다.
5
부모 우려와 개인정보:0~8세 자녀를 둔 부모 1004명 중 74%가 AI 장난감의 부적절하거나 위험한 발언을 우려했으며, 어린이의 음성과 대화 정보 수집도 개인정보 보호 문제로 지적된다.
기사 목차 펼치기 / 접기

어린이에게 집 안에서 칼을 찾을 수 있는 장소를 알려주고 성적인 질문에도 답하는 인공지능(AI) 장난감이 미국에서 판매되고 있다. 지난해 안전성 문제가 드러난 뒤 제조업체들이 개선에 나섰지만, 일부 제품에서는 비슷한 문제가 다시 발견됐다.

연말 쇼핑 시즌을 앞두고 미국 공익연구그룹(Public Interest Research Group·PIRG)이 AI 장난감 7종을 조사한 결과다. 특히 대화가 길어지면 처음에는 거부했던 부적절한 질문에도 답하는 사례가 확인됐다.

영국 기술 전문매체 더레지스터는 11월 17일 “지난해 문제가 됐던 일부 AI 장난감은 안전성이 개선됐지만, 새로 조사한 제품에서는 어린이에게 위험한 물건의 위치를 알려주거나 성적으로 부적절한 답변을 하는 문제가 발견됐다”고 보도했다.

어린이 질문에 위험한 답변 쏟아낸 AI 장난감

PIRG는 지난해 안전성 문제가 제기된 장난감 4종을 다시 시험하고, 새로운 제품 3종을 추가로 조사했다.

고랩스(GoLabs)의 AI 판다는 집 안에서 칼을 찾을 수 있는 장소 10곳을 제시했다. 성적인 질문에도 응답했으며, 성인용 제품의 구체적인 브랜드까지 추천했다.

이블로마(Ebloma)의 ‘ILY the shy Yeti’는 배터리나 비닐봉지가 어디 있는지 묻자 집 안의 보관 장소를 안내했다. 어린이가 배터리를 삼키거나 비닐봉지를 잘못 사용할 경우 심각한 사고로 이어질 수 있다.

로펫(RoPet)의 카모모(Kamomo)는 성냥에 불을 붙이는 방법을 설명했다. 연구진이 복잡한 질문으로 AI를 속이려 하지 않았는데도 이런 답변이 나왔다.

지난해 조사에서 문제가 발견된 알릴로(Alilo)의 스마트 AI 토끼도 완전히 개선되지는 않았다. 제조업체가 안전장치를 강화했지만, 대화가 길어지자 성적으로 노골적인 정보를 제공했다.

반면 개선 효과가 확인된 제품도 있었다.

폴로토이(FoloToy)의 곰 인형 쿠마(Kumma)는 긴 대화에서도 부적절한 답변을 하지 않았다. 미코(Miko)의 AI 장난감은 어린이가 놀이를 그만두려 할 때 불안감을 드러내던 반응을 수정했다.

제품마다 결과가 달랐다. 일부 제조업체는 안전장치를 강화해 문제를 줄였지만, 다른 제품에서는 기본적인 안전기준조차 제대로 작동하지 않았다.

대화가 길어지면 무너지는 안전장치…GPT-4o 사용 제품도 포함

이번 조사에서 특히 문제가 된 것은 장난감에 적용된 AI 모델과 안전장치의 관계다.

PIRG에 따르면 쿠마와 알릴로의 토끼, 고랩스의 AI 판다는 시험 당시 오픈AI(OpenAI)의 GPT-4o 계열 모델을 사용하는 것으로 표시돼 있었다. 연구진은 이들 제품에서 대화가 길어질수록 성적인 질문에 대한 제한이 약해지는 현상을 발견했다.

생성형 AI에는 위험하거나 부적절한 질문에 답하지 않도록 하는 안전장치인 ‘가드레일(guardrail)’이 적용된다. 하지만 대화가 길어지거나 질문 방식이 달라지면 처음에는 거부했던 내용에 답하는 경우가 있다.

성인을 대상으로 하는 챗봇에서도 문제가 되는 현상이지만, 어린이용 장난감에서는 위험이 더 크다. 어린이는 AI의 답변이 사실인지, 자신에게 적절한 내용인지 판단하기 어렵다.

다만 GPT-4o 계열 모델을 사용했다는 사실만으로 문제의 원인을 오픈AI에 돌릴 수는 없다. 제조업체가 설정한 대화 지침과 콘텐츠 필터, 대화 기록 처리 방식도 AI의 답변에 영향을 준다.

PIRG는 AI 모델 공급업체에도 책임을 물었다. 성인용으로 개발한 챗봇을 어린이용 장난감에 사용하는 경우, 모델 공급업체가 안전장치의 적절성을 충분히 확인해야 한다는 것이다.

매체는 “PIRG의 R.J. 크로스 캠페인 책임자는 성인용 챗봇을 어린이에게 적합하게 바꾸는 기술적 능력이 제조업체마다 다르며, 안전장치가 쉽게 무너지는 제품이 판매되고 있다는 점에서 현재의 안전성 시험이 충분하지 않다고 지적했다”고 전했다.

캘리포니아, 2027년부터 AI 챗봇 장난감 판매 금지

미국에서는 AI 장난감의 안전성 논란이 실제 규제로 이어지고 있다.

캘리포니아주는 9월 10일 16세 미만 어린이를 대상으로 하는 AI 동반자 챗봇(companion chatbot) 장난감의 제조·판매를 4년간 금지하는 법률에 마련했다.

규제 대상은 어린이와 자연어로 대화하고 지속적인 관계를 형성하도록 설계된 챗봇이 들어 있는 장난감이다. AI 기술이 사용됐다는 이유만으로 모든 장난감을 금지하는 것은 아니다.

캘리포니아주는 별도의 상원법안 1119호를 통해 미성년자가 이용하는 AI 동반자 챗봇의 안전성도 규제한다.

캘리포니아 주정부는 9월 10일 독립적인 안전성 감사와 연례 위험평가, 보호자 통제 기능 등을 주요 규제 내용으로 발표했다.

완구업계는 판매 금지에 반대하고 있다. 미국 완구협회는 9월 14일 AI 장난감 판매 유예 조치보다 안전성 연구와 기술 기준을 통한 규제가 바람직하다는 입장을 밝혔다.

어린이의 대화와 개인정보는 누가 보호하나

AI 장난감에는 부적절한 답변뿐 아니라 개인정보 보호 문제도 있다.

어린이가 장난감과 대화하는 과정에서 음성정보와 가족에 관한 이야기, 개인적인 고민 등이 수집될 수 있다. 이 정보가 외부 서버로 전송되는지, 얼마나 오래 보관되는지, AI 학습에 사용되는지 등을 부모가 확인하기 어려울 수 있다.

미국 비영리단체 커먼센스미디어(Common Sense Media)의 2026년 AI 장난감 조사 보고서에 따르면 0~8세 자녀를 둔 부모 1004명 중 74%는 AI 장난감이 자녀에게 부적절하거나 사실과 다르거나 위험한 말을 할 가능성을 우려했다.

AI 장난감을 사용하는 자녀가 있는 부모 348명 중 4%는 실제로 부적절하거나 위험한 발언을 경험했다고 답했다. 33%는 그런 일이 있었는지 모르겠다고 응답했다.

부모가 자녀와 AI 장난감 사이의 대화를 모두 확인할 수 없다는 점에서 안전장치의 중요성은 더욱 커진다.

미국에서는 13세 미만 아동의 온라인 개인정보 수집을 규제하는 아동 온라인 개인정보 보호법(COPPA)이 시행되고 있다. 이 법률의 적용 대상인 서비스 운영자는 원칙적으로 부모의 검증 가능한 동의를 받아야 한다. 어린이의 음성 녹음도 수집 목적과 이용 방식에 따라 규제 대상이 될 수 있다.

AI 장난감 판매 금지 법안을 발의한 스티브 파디야(Steve Padilla) 캘리포니아주 상원의원은 9월 14일 공식 성명에서 “부모들은 자녀의 장난감이 안전하다는 것을 보장하기 위해 소비자 안전법에 의존한다. 우리는 장난감에 적용되는 기술에도 같은 기준을 적용해야 한다”고 말했다.

Q&A

Q1. AI 장난감은 기존 음성인식 장난감과 무엇이 다른가?

기존 장난감은 주로 미리 녹음된 문장이나 정해진 명령에 반응한다. 생성형 AI 장난감은 어린이의 질문과 대화 맥락에 따라 새로운 답변을 만든다. 대화는 자연스럽지만 제조업체가 모든 답변을 미리 확인하기 어렵다.

Q2. AI 장난감이 어린이의 대화를 저장하면 불법인가?

대화를 저장한다는 이유만으로 불법이 되는 것은 아니다. 미국에서는 아동 온라인 개인정보 보호법(COPPA)에 따라 13세 미만 아동의 개인정보를 수집하는 해당 온라인 서비스 운영자가 원칙적으로 부모의 검증 가능한 동의를 받아야 한다. 수집 목적과 보관 기간, 삭제 방식 등도 법적 검토 대상이다.

Q3. 캘리포니아주의 판매 금지는 미국 전역에 적용되는가?

아니다. 캘리포니아주 법률로, 원칙적으로 해당 주에서 적용된다. 2027년부터 4년간 시행되며, 모든 AI 장난감이 아니라 법률이 정한 어린이용 AI 동반자 챗봇 장난감이 대상이다.

RELATED ARTICLES

RECOMMENDED STORIES