핵심 요약
AI 요약
기사 목차 펼치기 / 접기
미국 뉴욕시가 인공지능(AI) 챗봇으로 발생한 피해에 대해 모델 개발사뿐 아니라 유통사와 서비스 제공업체에도 법적 책임을 부과하는 조례안을 추진하고 있다. 이용자와 직접 계약하지 않은 기업도 책임 대상에 포함하고, 기업이 합리적인 주의를 기울였더라도 손해배상 책임을 부담할 수 있도록 하는 내용이다.
미국 법률 전문매체 로닷컴은 11월 5일 ‘뉴욕시 책임 조례안에서 누가 AI 제공자에 해당하는가(Who Counts as the AI Provider Under the NYC Liability Proposal)’라는 제목의 기고에서 “뉴욕시의 AI 책임 규제안과 관련해 모델 개발사와 배포사 등 어느 주체가 AI 제공자로 분류돼 법적 책임을 부담하는지를 규제 쟁점으로 다뤄야 한다”고 전했다.
뉴욕시의회가 10월 8일 상정한 조례안 제1118호는 챗봇 제공자(Chatbot Provider)를 챗봇을 제작하거나 유통하거나 그 밖의 방식으로 이용할 수 있게 하는 모든 사람으로 정의한다. 조례안(제20-699.36조)은 제공자가 설계와 유통 과정에서 합리적인 주의를 모두 기울였더라도 챗봇으로 발생한 피해에 책임을 질 수 있도록 규정했다.
이 조항은 이용자와 직접 계약 관계가 없는 기업에도 적용될 수 있다. 또한 챗봇을 제조물책임(Product Liability) 소송의 대상인 제품으로 명시했다. 현재 조례안은 뉴욕시의회 관련 위원회가 심사 중이다.
이용자와 계약하지 않은 개발사도 책임 대상
뉴욕시의회가 9월 25일 발표한 AI 규제안은 당초 안전성 검증과 피해 예방에 초점을 맞췄다.
뉴욕시의회는 이날 AI 시스템의 제3자 안전성 검증, 인간에 의한 작동 중단 기능, 내부고발자 보호, 피해자의 민사소송권 등을 포함한 입법 계획을 발표했다.
이후 공식 상정된 조례안 제1118호는 챗봇 자체에 대한 책임 규정을 구체화했다.
조례안은 제공자가 이용자에게 직접 서비스를 판매하지 않더라도 책임을 부담하도록 한다. 따라서 기초 모델을 개발한 기업과 이를 활용해 챗봇 서비스를 운영하는 기업이 서로 다른 경우, 어느 기업이 법률상 제공자인지가 손해배상 소송의 쟁점이 될 수 있다.
특히 조례안 제20-699.36조는 챗봇 제공자가 설계·유통 과정에서 합리적인 주의를 다했더라도 책임을 질 수 있다고 명시한다. 일반적인 과실책임과 달리 제공자의 주의의무 위반을 입증하지 않아도 책임을 물을 수 있도록 하는 규정이다.
또한 위반 행위에는 과태료 성격인 금전적 제재(civil penalty)가 건당 최대 2만5000달러(약 3500만원)까지 부과될 수 있다. 피해자는 별도로 민사소송을 제기할 수 있다.
AI 책임 확대에 뉴욕 기업들도 반발
뉴욕시의 AI 규제 움직임은 챗봇의 안전성뿐 아니라 기업이 소비자에게 제공하는 서비스 전반으로 확대되고 있다.
블룸버그로는 10월 20일 “뉴욕시가 AI 고객상담 시스템이 부정확한 정보를 제공하거나 소비자의 문제 해결을 방해하는 경우 기업에 책임을 묻는 규정을 추진하고 있다”고 보도했다.
이 규정은 고객이 자동화된 상담 시스템에서 사람 상담원에게 연결될 수 있도록 하는 내용도 담았다. 기업이 AI 상담으로 비용을 줄이더라도 소비자에게 실질적인 상담 서비스를 제공해야 한다는 취지다.
기업들은 규제 기준의 불명확성을 문제 삼고 있다.
뉴욕시 기업협의체 ‘파트너십 포 뉴욕시티(Partnership for New York City)’의 스티븐 풀롭(Steven Fulop) 회장 겸 최고경영자(CEO)는 블룸버그로와의 인터뷰에서 “챗봇이 고객의 문제를 실제로 해결했는지 판단할 기준이 불명확하다“고 지적했다. 그는 이러한 불확실성이 기업의 소송 위험을 높일 수 있다고 우려했다.
AI 챗봇 책임 범위가 지나치게 확대되면 소비자가 이용할 수 있는 서비스가 축소될 수 있다는 비판도 이미 제기됐다.
블룸버그로는 3월 13일 세인트루이스 워싱턴대 로스쿨 올리버 로버츠(Oliver Roberts) 겸임교수 기고를 통해 “뉴욕주의 AI 법률상담 규제안이 전문직 사칭을 막는다는 취지와 달리 정상적인 법률정보 제공까지 제한할 위험이 있다”고 지적했다.
로버츠 교수는 특히 규제 대상인 챗봇 운영자와 기초 모델 개발사를 구별하는 방식에 문제가 있다고 지적했다. AI의 핵심 기능과 안전장치를 통제하는 개발사는 제외하면서 이용자에게 서비스를 제공하는 기업에 책임을 집중시킬 수 있다는 것이다.
이는 뉴욕시 조례안 제1118호가 모델 개발사와 유통사까지 포괄할 수 있도록 제공자 범위를 넓힌 것과 대비된다.
개발사 책임과 이용자 보호 사이의 충돌
뉴욕시가 추진하는 또 다른 조례안 제1116호(Int. No. 1116-2026)는 AI 모델을 악용한 제3자가 피해를 일으킨 경우에도 모델 제공자를 상대로 소송을 제기할 수 있도록 규정했다.
뉴욕시의회 조례안 제1116호에 따르면, AI 모델의 안전장치나 콘텐츠 필터를 우회하는 행위까지 제3자의 악용 사례에 포함한다. 피해자는 손해배상과 징벌적 손해배상, 금지명령 등을 청구할 수 있다.
다만 이 조례안은 제1118호와 달리 피해의 예견 가능성, 합리적인 안전조치의 부재, 제3자의 악용으로 인한 피해를 요건으로 한다.
영국 로펌 시먼스앤드시먼스(Simmons & Simmons)는 10월 발표한 AI 규제 동향 보고서에서 뉴욕시 조례안 제1118호가 챗봇 제공자에게 매월 안전성 평가와 위험 완화 조치를 요구한다고 설명했다.
이 조례안은 이용자의 대화기록을 AI 학습에 사용하는 경우 명시적 동의를 받도록 하고, 18세 미만 이용자의 대화기록은 학습 목적으로 사용하지 못하도록 하는 내용도 담고 있다.
뉴욕시의회는 두 조례안을 포함한 AI 규제안을 위원회에서 심사하고 있다.
뉴욕시의 AI 규제는 소비자 보호와 기업의 법적 책임을 둘러싼 논쟁을 불러오고 있다. AI 서비스를 직접 제공하는 기업뿐 아니라 기술을 개발하고 유통하는 기업까지 책임을 부담하도록 할 것인지가 입법의 핵심이다.
뉴욕시의회 의장 줄리 메닌(Julie Menin)은 9월 25일 “우리는 혁신을 지지하면서 동시에 안전도 지킬 수 있고, 또 그렇게 해야 한다”고 밝혔다.
Q&A
Q1. AI 제공자와 AI 배포자는 어떻게 다른가?
AI 제공자(Provider)는 AI 모델이나 시스템을 개발하거나 시장에 공급하는 주체를, 배포자(Deployer)는 이를 실제 업무나 서비스에 사용하는 주체를 가리키는 경우가 많다. 다만 법률마다 정의가 다르며, 뉴욕시 조례안 제1118호는 챗봇을 제작·유통하거나 이용 가능하게 하는 주체를 폭넓게 포함한다.
Q2. 뉴욕시 조례안이 도입하려는 제조물책임은 무엇인가?
제품의 결함 등으로 발생한 피해에 대해 제조업자나 판매업자에게 책임을 묻는 법적 제도다. 뉴욕시 조례안은 챗봇을 제조물책임 소송의 대상인 제품으로 명시하고, 제공자가 합리적인 주의를 기울였더라도 책임을 부담할 수 있도록 규정한다.
Q3. 뉴욕시 규제가 한국 AI 기업에도 적용될 수 있나?
뉴욕시에서 챗봇을 제공하거나 유통하는 한국 기업은 조례가 제정될 경우 규제 대상에 포함될 가능성이 있다. 적용 여부는 실제 사업 활동, 제공자의 법적 정의, 피해 발생 장소 및 관할권 등에 따라 달라진다.
