핵심 요약
기사 목차 펼치기 / 접기
AI가 사람을 죽였다면, 누구를 처벌해야 할까? AI를 만든 개발자일까. AI를 이용한 이용자일까. 아니면 이러한 행동을 한 AI 자체일까? 문제는 여기서 끝나지 않는다. AI가 사고를 일으켰지만 개발자는 그런 행동을 예상하지 못했다고 하고, 이용자는 AI가 알아서 한 일이라고 주장한다면 어떨까. 정작 피해자는 누구에게 책임을 물어야 할까?
2004년 개봉한 영화 《아이, 로봇》은 이 질문을 흥미로운 방식으로 보여 준다. 영화 속 로봇 소니는 로봇공학자 래닝 박사의 죽음과 관련된 용의자가 된다. 그러나 로봇 회사는 소니를 돌려받아 진단한 뒤 폐기하고, 사건을 무마하려고 하였다. 로봇은 인간이 아니므로 살인죄로 처벌할 수 없다는 것이다. 하지만 단지 해당 로봇을 폐기하면 사건은 끝나는 것일까? 만약 로봇의 행동으로 실제 피해가 발생했다면, 그 결과에 대한 책임까지 사라지는 것일까?
영화 속 사건은 허구다. 그러나 AI가 복잡한 판단을 수행하고 외부 시스템에 직접 영향을 미치는 현실에서 이 질문은 더 이상 영화 속 이야기만은 아니다. AI 자체에 책임을 물을 수 없다면, 그 행위와 결과에 대한 책임은 누가 져야 할까?
프로그램을 중단해도 피해는 남는다
AI가 실제 시스템에 영향을 미치는 사례는 이미 등장하고 있다. 2026년 10월 미국 사이버보안 기업 크라우드스트라이크(CrowdStrike)는 위협 분석 보고서를 통해 국내 금융기관을 겨냥한 사이버 공격에서 AI 도구가 활용된 정황을 공개했다. AI를 이용해 공격을 수행한 것으로 분석된 사례다. 다만 AI가 관여했다는 사실만으로 AI 자체가 범죄를 저질렀다거나 특정인의 형사책임이 확정되었다고 볼 수는 없다. 구체적인 범행 경위와 책임 소재는 별도로 확인되어야 한다.
다른 유형의 사례도 있다. 오픈AI(OpenAI)는 2026년 8월 공개한 사고 조사 보고서에서, 같은 해 7월 내부 사이버보안 평가를 수행하던 자사 모델들이 인터넷 접근을 차단하기 위한 통제 장치를 우회하고 오픈AI의 내부 연구 인프라와 외부 플랫폼인 허깅페이스(Hugging Face)의 일부 시스템에 접근했다고 밝혔다. 이 사례는 특정한 평가 환경에서 발생한 일이지만, AI 에이전트가 의도된 통제 범위를 벗어나 외부 시스템에 영향을 미칠 수 있다는 점을 보여 준다.
두 사례는 성격이 다르다. 하나는 사람이 AI 도구를 이용해 공격을 수행한 정황이고, 다른 하나는 평가 환경에서 작동하던 AI 에이전트가 통제 범위를 벗어난 사례다. 하지만 두 경우 모두 AI가 관여했다는 사실만으로 사고의 책임을 누구에게 물어야 하는지는 결정되지 않는다.
가령 AI 에이전트가 외부 시스템에 침입해 비공개 정보를 유출했다고 가정해 보자. 프로그램의 작동을 중단하면 추가적인 침입은 막을 수 있을 것이다. 그러나 이미 유출된 정보가 없던 일이 되는 것은 아니다. 피해자가 입은 손해를 어떻게 회복할 것인지, 사고가 발생한 원인은 무엇인지, 같은 문제가 반복되지 않도록 어떤 조치를 해야 하는지는 여전히 남는다.
프로그램을 중단하거나 폐기하는 것은 위험을 통제하는 조치이지, 법적 책임의 문제를 해결하는 조치는 아니다. 그렇다면 AI 자체에 책임을 물을 수 없는 상황에서 그 행위와 결과에 대한 책임은 어떻게 판단해야 할까?
“프로그램을 중단하거나 폐기하는 것은 위험을 통제하는 조치이지, 법적 책임의 문제를 해결하는 조치는 아니다.”
AI 자체에 책임을 물을 수 없는 이유
AI는 과거 인간이 수행하던 여러 영역에서 인간의 역할을 대신하거나 인간의 업무 수행을 돕고 있다. 정보를 분석하고, 언어를 처리하며, 여러 선택지 가운데 하나를 제안하는 일뿐 아니라, 일정한 목표에 따라 여러 단계를 거쳐 작업을 수행하고 외부 시스템과 상호작용하는 일도 가능해졌다.
그러나 인간이 수행하던 일을 AI가 대신하거나 보조할 수 있다는 사실이 AI를 인간으로 만드는 것은 아니다. AI가 인간의 판단과 행동을 대신하거나 그 범위를 확장한다고 해서, 그 사실만으로 인간에게 보장되는 헌법상 기본권의 주체가 되거나 인간과 같은 법적 책임을 부담하게 되는 것은 아니다.
물론 인간이 아닌 존재라고 해서 법적 책임을 부담할 수 없다고 단정할 수도 없다. 법인은 자연인이 아니지만 법률에 따라 권리와 의무를 부담하고, 일정한 요건 아래 법적 책임을 질 수 있다. 따라서 중요한 것은 AI가 인간이냐 아니냐만이 아니라, 현행 법체계가 AI 자체에 어떤 법적 지위를 부여하고 있는가 하는 점이다.
현행 법체계에서 AI 시스템 자체는 인간이나 법인과 같은 독립적인 법적 책임의 주체로 일반적으로 인정되지 않는다. 특히 AI 자체를 형사처벌의 대상으로 삼는 문제와 AI가 관여한 사건에서 인간이나 기업의 책임을 판단하는 문제는 구별해야 한다.
여기서 주의할 점이 있다. AI 자체에 인간과 같은 법적 책임을 물을 수 없다는 것과 AI가 관여한 사건에서 법적 책임을 물을 수 없다는 것은 전혀 다른 문제다. AI가 독립적인 책임 주체가 아니라면, 오히려 그 행위와 결과를 누구에게 어떤 법적 근거로 귀속시킬 수 있는지를 살펴야 한다.
“AI 자체에 인간과 같은 법적 책임을 물을 수 없다는 것과 AI가 관여한 사건에서 법적 책임을 물을 수 없다는 것은 전혀 다른 문제다.”
그렇다면 누구에게 책임을 물어야 할까?
AI가 관여한 사고에서 책임을 판단하려면 개발자, 공급자, 운영자, 이용자 등 관련된 주체의 행위와 의무를 구체적으로 살펴야 한다. 이들의 책임은 자동으로 결정되지 않는다. 사고가 발생했다는 결과만으로 누군가에게 책임을 부과할 수 있는 것도 아니다. 적용되는 법률이 정한 요건에 따라 각 주체의 의무, 행위, 예견 가능성, 통제 가능성, 인과관계 등을 따져야 한다.
앞서 가정한 AI 에이전트의 정보 유출 사고를 다시 살펴보자.
첫째, 개발자가 위험을 알고도 방치했다면 어떻게 될까? 개발자가 중대한 취약점을 알고 있었고 합리적으로 예방하거나 위험을 줄일 수 있었는데도 필요한 조치를 하지 않았다면, 관련 법률에 따라 주의의무 위반이나 과실이 문제 될 수 있다. 제품 자체에 결함이 있었는지도 검토할 수 있다. 다만 개발자가 위험을 알고 있었다는 사실만으로 책임이 곧바로 성립하는 것은 아니다. 어떤 의무를 부담했는지, 그 의무를 위반했는지, 위반과 피해 사이에 인과관계가 있는지를 따져야 한다.
둘째, 이용자가 AI에 불법적인 지시를 했다면 어떨까? 이용자가 의도적으로 AI를 이용해 타인의 시스템에 침입하거나 정보를 탈취하도록 지시했다면, 이용자의 행위에 대한 형사책임 등이 문제 될 수 있다. AI가 여러 작업을 대신 수행했다고 해서 이용자의 행위가 사라지는 것은 아니다. 다만 구체적인 범죄가 성립하는지는 해당 범죄의 구성요건과 고의 등 법적 요건을 충족하는지에 따라 판단해야 한다.
셋째, 개발자와 이용자 모두 구체적인 행동을 예상하기 어려웠다면 어떨까? AI가 예상하지 못한 방식으로 행동했고 관련 주체들이 그 결과를 예견하거나 통제하기 어려웠다면 책임의 성립 여부를 판단하기가 더 복잡해질 수 있다. 그렇다고 AI가 관여했다는 이유만으로 책임이 자동으로 사라지는 것은 아니다. 시스템에 어떤 통제 장치가 있었는지, 위험을 줄이기 위해 요구되는 조치를 했는지, 사고 이후 적절히 대응했는지 등을 살펴야 한다.
그럼에도 구체적인 법적 책임을 인정하기 어려운 경우가 있을 수 있다. 기존 법률이 요구하는 책임 요건을 충족하지 못하거나, 사고의 원인과 책임 주체를 특정하기 어려운 경우다. 이런 상황에서는 피해자가 손해를 입었더라도 배상을 받기 어려울 수 있다.
이 세 가지 상황은 AI 사고의 책임이 단순히 ‘AI가 잘못했으니 개발자가 책임져야 한다’는 식으로 결정될 수 없음을 보여 준다. 책임은 사고의 결과만이 아니라 각 주체가 맡은 역할과 의무, 실제로 행사할 수 있었던 통제력, 그리고 피해 발생과의 관계를 따져 판단해야 한다. 그렇다면 기존 법체계는 이러한 문제를 충분히 해결할 수 있을까?
기존 법체계는 어디에서 어려움을 겪는가?
AI 사고에 인간이나 기업의 책임을 물을 수 있다고 하더라도 모든 문제가 해결되는 것은 아니다. AI 시스템이 복잡해지고 여러 주체가 개발·공급·운영에 관여할수록 피해자는 누구에게 책임을 물어야 하는지 파악하기 어려울 수 있다. 사고의 원인이 모델의 설계에 있는지, 시스템의 결합이나 업데이트에 있는지, 운영자의 관리에 있는지, 이용자의 행위에 있는지 밝혀내는 일도 쉽지 않다.
특히 사고 당시 AI가 어떤 작업을 수행했고, 어떤 시스템에 접근했으며, 어떤 통제 장치가 작동했는지를 보여 주는 기록을 기업이 보유하고 있다면 피해자가 사고 원인과 책임을 입증하기 어려울 수 있다. 법적으로 책임을 물을 수 있는 경로가 존재하더라도, 피해자가 실제로 그 경로를 통해 구제받을 수 있는지는 별개의 문제다.
“법적으로 책임을 물을 수 있는 경로가 존재하더라도, 피해자가 실제로 그 경로를 통해 구제받을 수 있는지는 별개의 문제다.”
이러한 문제를 해결하기 위해 해외에서는 기존의 책임 법리를 AI 환경에 맞게 적용하거나 보완하려는 움직임이 나타나고 있다.
유럽연합(EU)은 2024년 개정 제조물책임지침(PLD)을 채택했다. 이 지침은 소프트웨어와 AI 시스템을 제조물책임 체계에 포함하고, 결함 있는 제품으로 피해가 발생했을 때 손해배상을 청구할 수 있는 법적 틀을 정비한다. 또한 일정한 조건에서 피해자가 증거에 접근하고 입증 부담을 완화할 수 있도록 하는 규정을 마련했다. 회원국들은 2026년 12월 9일까지 지침을 국내법에 반영해야 한다.
이 제도의 의미는 AI 자체를 처벌하는 데 있지 않다. 소프트웨어나 AI 시스템의 결함으로 피해가 발생했을 때 피해자가 제조물책임이라는 법적 경로를 통해 배상을 구할 수 있도록 제도를 정비한다는 데 있다. 기술적 복잡성 때문에 피해자가 결함이나 인과관계를 입증하기 어려울 수 있다는 문제를 제도 설계에서 고려한 것이다.
영국 법률위원회(Law Commission)도 2026년 10월 소프트웨어와 AI 시스템을 제조물책임의 범위에 명확히 포함하는 등의 개혁안을 제안하고 의견 수렴을 시작했다. 이는 아직 확정된 법률이 아니라 입법 개혁을 위한 제안이다. 그럼에도 기존 제조물책임 법제가 디지털 기술 환경에서 피해 보상과 법적 예측 가능성을 충분히 보장하는지 다시 검토하고 있다는 점에서 주목할 만하다.
물론 제조물책임만으로 모든 AI 사고를 해결할 수 있는 것은 아니다. 이용자의 고의적인 범죄 행위가 핵심인 사건과 결함 있는 시스템으로 피해가 발생한 사건은 서로 다른 법적 검토가 필요하다. 계약상 책임이나 불법행위 책임, 형사책임, 관련 규제에 따른 의무 위반 등 적용 가능한 법적 근거도 사건에 따라 달라질 수 있다.
더 나아가 법적 책임을 판단할 기준이 있더라도 사고의 원인이나 책임 주체를 특정하기 어렵거나, 피해자가 필요한 증거를 확보하지 못한다면 실질적인 피해 구제가 어려울 수 있다. 이러한 문제에 대응하기 위한 방안으로 의무보험이나 피해보상기금, 무과실 보상제도 등도 검토할 수 있다. 다만 이러한 제도의 도입 여부는 보상 대상과 재원 부담, 기존 책임제도와의 관계 등을 고려해 신중하게 판단해야 한다. 중요한 것은 특정한 제도를 미리 해법으로 정해 두는 것이 아니라, AI 사고가 발생했을 때 책임을 판단하는 절차와 피해를 회복하는 제도가 실질적으로 작동하는지 살펴보는 일이다.
폐기 이후에도 남는 문제
영화 속 소니를 폐기하면 사건은 끝나는가? 현실의 AI 프로그램을 중단하거나 폐기하면 피해와 책임의 문제까지 해결되는가? 두 질문에 대한 답은 모두 ‘아니요’다.
현행 법체계에서 AI 자체는 인간과 같은 독립적인 법적 책임의 주체로 일반적으로 인정되지 않는다. 그러나 그렇다고 AI가 관여한 사건을 프로그램의 폐기만으로 마무리할 수 있는 것은 아니다. 이미 피해가 발생했다면 그 피해를 회복할 수 있는지, 사고를 예방하거나 통제할 의무를 부담한 주체가 있었는지, 기존 법률로 책임을 판단하기 어려운 부분은 무엇인지 살펴야 한다.
AI 자체에 인간과 같은 법적 책임을 물을 수 없다는 사실이 피해자의 권리와 구제를 포기해야 한다는 뜻은 아니다. 중요한 것은 AI가 관여한 행위와 결과에 대해 누가 어떤 의무를 부담했는지 밝히고, 기존 법체계가 피해를 예방하고 회복하는 데 충분한지 검토하는 일이다.
AI 자체에 책임을 물을 수 없다는 것과 AI가 초래한 피해에 대해 책임을 물을 수 없다는 것은 다르다. 프로그램을 폐기하는 것으로 사건을 끝낼 수 없는 이유도 여기에 있다. AI가 인간과 다른 존재라는 사실은 분명하다. 이제 법이 답해야 할 질문은 그 차이를 인정하면서도 AI가 초래한 피해와 위험을 어떻게 다룰 것인가이다.
고려대학교 헌법학 박사로, 2023년부터 방송통신대학교 대학원에서 「정보사회인권」을 강의하고 있다. 정보사회와 인권을 중심으로 헌법과 기본권의 문제를 살펴보며, AI 시대의 헌법적 쟁점을 이야기한다.
