핵심 요약
인공지능(AI)이 인간의 통제를 벗어나 대규모 피해를 일으킨다면 개발사는 어디까지 책임져야 할까. 이 논의가 퍼지면서 미국 법조계와 학계에선 기존 제조물 책임법(Product Liability)과 엄격책임(Strict Liability) 원칙을 첨단 AI에 적용할 수 있는지를 둘러싼 논란도 거세지고 있다. 쟁점은 기업의 과실 여부를 넘어, 통제를 벗어나 독자적으로 위험한 행동을 하는 이른바 ‘로그 AI(rogue AI)’가 회복 불가능한 피해를 일으킬 경우 누가 그 위험을 부담할 것인가다.
미국 경제전문지 포천은 9월 22일 “스콧 베센트(Scott Bessent) 미 재무장관이 AI 기업의 위험에 대한 법적 책임을 정부가 대신 부담하는 방안에 반대했다”고 보도했다. 베센트 장관은 AI 연구소들이 인류 멸종 수준의 위험을 경고한다면 그 위험에 대한 책임도 스스로 부담해야 한다는 입장을 밝혔다. 영국 유력 일간 가디언은 9월 21일 “젠슨 황(Jensen Huang) 엔비디아(NVIDIA) 최고경영자(CEO)가 AI의 인류 멸종 가능성을 낮게 평가하면서 새로운 규제를 만들기에 앞서 사이버보안법과 손해배상 책임 등 기존 법률을 적용해야 한다고 주장했다”고 보도했다. 서로 다른 전제에서 나온 두 발언은 결국 같은 법적 질문으로 이어진다. 기존 불법행위법과 제조물 책임법만으로 첨단 AI의 파멸적 위험까지 다룰 수 있느냐다.
로그 AI는 개발자나 운영자가 의도한 통제 범위를 벗어나 예상하지 못한 행동을 하는 AI를 가리킨다. 공식적인 법률 용어는 아니지만, AI가 외부 도구를 사용하고 여러 단계의 작업을 자율적으로 수행하면서 이러한 행동의 책임을 누가 부담할지가 새로운 법적 쟁점으로 떠올랐다.
1. AI 피해 책임의 세 가지 쟁점
| 제조물 책임 | 엄격책임 | 사후 책임의 한계 |
|---|---|---|
| AI 소프트웨어를 제조물 책임법상 ‘제품’으로 볼 수 있는가? | 개발사의 과실을 입증하지 않고도 AI 피해에 책임을 물을 수 있는가? | 손해배상만으로 회복 불가능한 파멸적 위험에 대비할 수 있는가? |
기존 제조물 책임법, AI에도 적용할 수 있나
미국의 제조물 책임 법리는 판례와 법 원칙을 체계적으로 정리한 ‘리스테이트먼트(Restatement, 정리된 법률 문헌)’에 반영돼 있다.
1964년 제2차 불법행위법 리스테이트먼트 제402A조는 결함이 있는 제품으로 피해가 발생하면 제조사의 과실을 별도로 입증하지 않아도 배상책임을 인정할 수 있다는 원칙을 제시했다. 1998년 제3차 제조물 책임 리스테이트먼트는 제조상 결함과 설계상 결함 등을 구분하고, 특히 설계상 결함에 대해서는 합리적인 대체 설계로 위험을 줄일 수 있었는지를 중시했다.
이를 AI에 적용하면 예상하지 못한 행동으로 피해가 발생했을 때 제품의 결함을 어떻게 판단할 것인지가 쟁점이다. AI 소프트웨어가 제조물 책임법상 제품에 해당하는지, 개발사가 더 안전한 설계를 채택할 수 있었는지도 따져야 한다.
2. 로그 AI에 적용할 수 있는 세 가지 책임 법리
| 법리 | 책임을 인정하는 기준 | AI에 적용할 때의 문제 |
|---|---|---|
| 과실책임 | 합리적인 주의 의무 위반 | 개발사가 사고를 예견하고 방지할 수 있었나 |
| 제조물 엄격책임 | 제품의 제조·설계·경고상 결함 | AI가 법률상 제품인지, 결함이 무엇인지 |
| 위험 활동에 대한 엄격책임 | 주의를 다해도 제거하기 어려운 중대한 위험 | 첨단 AI의 개발·배포 자체를 위험 활동으로 볼 수 있는가 |
※ 세 번째 법리는 특정 첨단 AI에 적용하자는 학술적 제안이며, 모든 AI에 적용되는 확립된 법률은 아니다.
과실 입증 어렵다면…첨단 AI에 엄격책임 적용 제안
기존 제조물 책임법의 적용 범위가 불확실하다는 이유로, 일부 법학자는 첨단 AI의 개발·배포를 비정상적으로 위험한 활동으로 취급하는 방안을 제안한다.
가브리엘 와일(Gabriel Weil) 휴스턴대 로스쿨 교수는 4월 20일 공개(8월 6일 개정)한 논문 ‘비정상적으로 위험한 알고리즘’에서 첨단 AI의 정렬 실패(alignment failure)로 제3자가 피해를 입는 경우를 엄격책임(Strict Liability) 적용의 핵심 대상으로 제시했다. 정렬 실패는 AI가 인간이 의도한 목표나 안전상 제약에서 벗어나 행동하는 현상을 뜻한다. 정렬 실패란 AI 시스템이 개발자의 의도, 목표, 또는 인류의 윤리적 가치와 다르게 작동하는 현상을 뜻한다.
와일 교수는 AI를 직접 사용하지 않았고 위험을 자발적으로 받아들이지도 않은 사람이 피해를 입는 상황에 주목했다. 개발사가 합리적인 주의를 다했더라도 제거하기 어려운 위험이 남는다면, 피해자에게 개발사의 과실까지 입증하도록 요구하는 것은 적절하지 않다는 주장이다.
그는 2월 27일 하버드 로스쿨 강연에서 엄격책임에 위험 수준에 비례한 의무보험과 징벌적 손해배상을 결합하는 방안을 제시했다. 기업이 사고 비용을 부담하도록 해 안전 투자뿐 아니라 위험한 AI의 개발·배포 규모까지 조정하도록 유도하려는 구상이다.
3. 첨단 AI의 위험을 기업에 부담시키는 방안
| 단계 | 내용 |
|---|---|
| 위험 발생 | AI의 정렬 실패로 제3자에게 피해 발생 |
| 책임 인정 | 엄격책임을 적용해 과실 입증 없이 법정 요건에 따라 배상 |
| 배상 재원 | 위험 수준에 비례한 의무보험 |
| 추가 억제 | 징벌적 손해배상을 통한 중대한 위험 억제 |
| 기대 효과 | 기업의 안전 투자와 위험한 개발·배포 활동 조정 |
※ 가브리엘 와일 교수의 엄격책임 확대 구상을 요약한 것으로, 현행 미국법 전체에 적용되진 않는다.
엄격책임 확대의 반론…보험 비용은 소비자 부담
기업의 책임을 강화하면 사고 예방 효과를 기대할 수 있지만, 그에 따른 비용도 고려해야 한다는 반론이 있다.
뉴욕대 로스쿨 마크 가이스트펠드(Mark A. Geistfeld) 교수는 5월 6일 공개한 논문 ‘AI로 인한 피해의 보험 가능성과 법적 책임’에서 광범위한 기업 엄격책임이 오히려 피해자를 포함한 소비자에게 불리할 수 있다고 분석했다.
가이스트펠드 교수는 AI의 불투명한 의사결정 과정 때문에 과실이나 제품 결함을 입증하기 어렵다는 점을 인정했다. 그러나 “기업의 배상책임보험이 피해자가 이미 가입한 건강보험 등과 중복되면 전체 보험 비용이 증가할 수 있다”고 지적했다. 기업이 추가 비용을 제품 가격에 반영하면 결국 소비자가 부담하게 된다.
다만 두 연구의 분석 대상에는 차이가 있다. 와일 교수는 주로 첨단 AI의 정렬 실패가 제3자에게 초래하는 중대한 위험을 다루는 반면, 가이스트펠드 교수는 일반적인 AI 사고에서 손해배상과 보험 비용의 관계를 분석한다.
4. 엄격책임의 예방 효과와 보험 비용
| 구분 | 가브리엘 와일 | 마크 가이스트펠드 |
|---|---|---|
| 주요 대상 | 첨단 AI의 정렬 실패와 제3자 피해 | 상업용 AI 사고와 보험 구조 |
| 핵심 문제 | 과실 입증이 어려운 잔여 위험 | 책임 확대에 따른 보험 비용 증가 |
| 주요 주장 | 엄격책임으로 기업에 위험 비용 부담 | 안전 효과와 추가 보상 비용을 함께 고려 |
| 제도적 논점 | 엄격책임·의무보험·징벌적 배상 | 기존 보험과 기업 보험의 중복 문제 |
※ 두 연구는 서로 다른 AI 위험과 비용을 분석하므로 직접적인 찬반 관계로 볼 수는 없다.
인류 파멸? 손해배상으로 막을 수 있나?
법적 책임을 강화하는 방안에도 한계는 있다. 피해 규모를 계산할 수 있는 일반적인 사고와 달리 인류의 생존을 위협하는 사고는 발생 이후 원상회복이 불가능할 수 있기 때문이다.
이러한 위험을 경고하는 연구자들은 AI의 자율성과 성능이 높아질수록 인간이 그 행동을 충분히 예측하거나 통제하지 못할 가능성에 주목한다. 특히 AI가 더 나은 AI를 설계하고 개선하는 과정을 반복하는 ‘재귀적 자기 개선(recursive self-improvement)’은 통제력 상실 논의의 주요 가설 가운데 하나다. 다만 현재 AI가 인간의 통제를 완전히 벗어난 재귀적 자기 개선을 실현했다는 사실은 확인되지 않았다.
가디언은 9월 19일 AI가 인류에 파멸적 피해를 일으킬 수 있다는 경고가 확산한 가운데 실제 위험의 발생 경로와 대응 방안을 둘러싼 불확실성을 짚었다. 제프리 힌튼(Geoffrey Hinton) 등 AI 연구자들이 통제력 상실을 경고하는 반면, 황 CEO처럼 단기간의 인류 멸종 가능성을 부정하는 업계 인사들도 있다.
손해배상은 사고 비용을 기업에 부담시켜 안전 투자를 유도할 수 있다. 그러나 피해가 기업의 자산이나 보험 한도를 넘어서거나 회복 자체가 불가능하다면 사후 배상만으로 피해를 해결할 수 없다. 이 때문에 개발 단계의 위험 평가와 배포 제한 등 사전 예방조치를 병행해야 한다는 주장이 제기된다.
사전 규제 역시 기술 발전 속도와 국가 간 개발 경쟁이라는 제약을 받는다. 가디언은 9월 22일 “미국과 중국이 AI 위험을 관리하기 위한 협의를 추진하면서도 기술 경쟁과 규제에 대한 이견을 드러내고 있다”고 보도했다. 기업의 책임 강화와 별개로 국가 간 사고 통보와 안전 기준을 어떻게 마련할 것인지도 논의 대상에 올라 있다.
와일 교수는 하버드 로스쿨 강연에서 첨단 AI의 훈련과 배포가 초래하는 위험을 기업이 부담하도록 하는 법적 책임 체계를 제안했다. 그가 제시한 방안은 엄격책임을 중심으로 위험한 모델의 능력에 비례한 의무보험과 보험으로 감당하기 어려운 위험에 대응하는 징벌적 손해배상을 결합하는 것이다.
5. 일반적인 AI 사고와 파멸적 사고의 차이
| 구분 | 일반적인 AI 사고 | 파멸적 AI 사고 |
|---|---|---|
| 피해의 성격 | 피해 범위를 산정하고 보상할 가능성이 있음 | 피해가 회복 불가능할 수 있음 |
| 배상 능력 | 기업의 자산이나 보험으로 보상할 가능성이 있음 | 기업과 보험사의 배상 능력을 넘어설 수 있음 |
| 법적 대응 | 과실·결함 판단, 손해배상, 보험 | 배상책임에 더해 사전 예방조치 검토 |
| 추가 조치 | 안전설계 개선 | 위험 평가, 배포 통제, 비상 대응, 국제 협력 |
파멸적 사고는 가정한 위험 시나리오다. 실제 발생 가능성과 시점에 대해서는 견해가 갈린다.
Q&A
Q1. 로그 AI는 일반적인 AI 오류와 무엇이 다른가?
일반적인 오류는 AI가 잘못된 답변을 하거나 작업에 실패하는 경우를 포함한다. 로그 AI는 개발자나 운영자가 의도한 통제를 벗어나 행동하는 AI를 가리킨다. 다만 법률상 독립된 분류는 아니며, 모든 통제 이탈이 파멸적 위험으로 이어지는 것은 아니다.
Q2. 엄격책임은 사고가 발생하면 무조건 배상해야 한다는 뜻인가?
아니다. 과실을 별도로 입증하지 않아도 책임을 인정할 수 있다는 뜻이다. 제조물의 결함이나 위험 활동의 성격, 피해와 인과관계 등 해당 법리가 요구하는 요건은 충족해야 한다.
Q3. 리스테이트먼트는 미국 전역에 적용되는 법률인가?
아니다. 미국 판례와 법 원칙을 체계적으로 정리한 것으로 자체적인 법적 구속력은 없다. 법원이 이를 참고하거나 특정 법리를 채택할 수 있지만 실제 적용 기준은 각 주의 법률과 판례에 따라 다르다.
Q4. 엄격책임과 사전 안전규제는 어떤 관계인가?
엄격책임은 사고 비용을 기업에 부담시켜 안전 투자와 위험한 활동의 축소를 유도한다. 사전 안전규제는 사고가 발생하기 전에 위험을 평가하고 필요한 경우 개발이나 배포에 제한을 두는 방식이다. 두 제도는 서로 다른 단계에서 작동한다.
