AI가 시킨 대로 했을 뿐이라면?

[헌법으로 읽는 AI ⑤] 책임의 공백과 사전적 규제

AI 책임 귀속과 헌법상 기본권 보호의무를 논의하는 법정책 회의실의 실사 보도사진
AI 생성 이미지
핵심 요약 AI 요약
1
AI 이용자 책임:AI를 이용했다는 이유만으로 책임이 인정되거나 면제되는 것은 아니며, 이용자의 고의·과실과 인과관계, 개발자와 운영자의 주의의무 위반을 각각 살펴야 한다.
2
사전 위험 통제:AI가 자율적으로 여러 작업을 수행할수록 피해 이후 원인과 책임을 밝히기 어려워지므로, 사후 구제와 함께 위험을 사전에 평가하고 줄이는 조치가 필요하다.
3
기본권 보호 균형:국가는 AI로 인한 기본권 침해 위험을 방치해서는 안 되지만, 위험 예방을 이유로 연구·개발과 활용을 과도하게 제한해서도 안 된다.
4
위험별 차등 규제:AI의 자율적 실행 능력과 외부 시스템 접근 범위, 인간의 개입 가능성, 예상 피해의 심각성에 따라 규제 수준을 달리해야 한다.
5
피해 위험 분담:개별 주체의 과실이나 법적 책임을 밝히기 어려운 피해에 대비해 고위험 AI의 책임보험이나 별도 보상기금을 검토할 수 있다.
기사 목차 펼치기 / 접기

명령한 자와 실행하는 기계 사이… AI 앞의 책임 귀속

자율주행 차량이 시내를 달리다 보행자를 인식하지 못하고 사고를 냈다. 기업의 AI 채용 시스템이 특정 집단에 불리한 판단을 반복해 사회적 피해를 낳았다. 이 경우 피해에 대한 책임은 누구에게 물어야 할까? AI 시스템을 개발한 기업일까, 이를 도입하고 운영한 사업자일까, 아니면 AI를 이용해 구체적인 행위를 지시한 사용자일까?

우선 AI를 이용해 해당 행위를 지시하거나 실행하도록 한 주체의 책임을 검토해야 한다. 다만 AI를 이용했다는 사실만으로 사용자에게 책임이 인정되는 것은 아니다. 행위자의 고의나 과실, 피해 발생과의 인과관계 등을 구체적으로 살펴야 한다. 개발자나 운영자 역시 별도의 주의의무를 위반했다면 그에 따른 책임을 질 수 있다. 중요한 것은 AI를 행위의 수단으로 이용했다는 이유만으로 인간이 자신의 행위에 대한 법적 책임에서 벗어날 수는 없다는 점이다.

“중요한 것은 AI를 행위의 수단으로 이용했다는 이유만으로 인간이 자신의 행위에 대한 법적 책임에서 벗어날 수는 없다는 점이다.”

그러나 문제는 여기서 끝나지 않는다. 인간이 구체적인 행위를 직접 지시한 경우와 달리, AI가 부여받은 목표를 달성하기 위해 스스로 실행 계획을 세우고 여러 단계의 작업을 수행하는 경우에는 책임의 귀속이 훨씬 복잡해진다. 예를 들어 이용자가 특정한 목표만 제시했을 뿐 구체적인 실행 방법은 AI 시스템에 맡겼다고 해 보자. 시스템은 목표를 달성하기 위해 외부 서비스에 접속하고 여러 작업을 수행했지만, 그 과정에서 타인의 권익을 침해하는 결과를 초래했다. 개발자나 운영자조차 그 결과를 사전에 구체적으로 예측하지 못했을 수도 있다.

이때 책임은 누구에게 귀속되어야 할까? 목표를 설정한 이용자에게 책임을 물을 수 있을까? 시스템의 설계나 안전장치에 문제가 있었다면 개발자에게 책임이 있을까? AI를 실제 환경에 도입하고 관리한 사업자에게는 어떤 책임이 있을까? AI의 작동과 피해 사이의 인과관계가 확인되더라도, 구체적인 법적 책임을 누구에게 어떤 근거로 물을 것인지는 별도로 판단해야 한다.

AI가 단순한 판단 보조를 넘어 실행 계획을 수립하고 실제 행동까지 수행하는 시대에, 법은 이러한 기술적 자율성을 어디까지 허용해야 할까? 그리고 기본권 침해가 발생했을 때 법질서는 어떻게 책임을 규명하고 피해자를 구제해야 할까?

사후적 책임의 한계와 사전적 통제의 필요성

AI로 인한 피해가 발생한 뒤 사후적으로 책임을 묻는 것만으로는 충분하지 않다. 피해가 발생하면 책임 소재를 규명하고 적절한 배상과 구제 조치를 하는 것이 법치국가의 기본적인 요청이다. 그러나 생명과 신체처럼 침해되면 회복하기 어려운 법익은 사후적인 배상만으로 충분히 회복될 수 없다.

더욱이 AI가 인간의 구체적인 지시 없이 여러 단계의 작업을 수행하고, 그 과정에서 예상하지 못한 방식으로 기본권 침해를 초래한다면 문제는 더욱 복잡해진다. 피해 발생 이후 인과관계를 입증하고 책임 소재를 밝히는 일 자체가 어려울 수 있기 때문이다. AI의 작동 과정이 복잡하고 여러 주체가 개발·운영·이용에 관여할수록 책임의 원인을 특정하기도 쉽지 않다.

따라서 AI로 인한 기본권 침해에 대응할 때에는 피해 발생 이후의 책임과 구제에만 의존해서는 안 된다. 피해가 발생할 가능성을 사전에 평가하고 위험을 줄이기 위한 법적·제도적 통제 수단을 함께 마련해야 한다. 사후적 책임이 피해 발생에 대한 대응이라면, 사전적 규제는 피해 자체를 예방하거나 그 가능성을 줄이기 위한 장치다.

인간복제와 핵무기의 선례… 기술 위험에 대한 사전 통제의 역사

기술의 위험을 사전에 통제하는 것이 AI에만 해당하는 새로운 발상은 아니다. 과학기술의 발전이 인간의 존엄성이나 생명·신체의 안전에 중대한 영향을 미칠 수 있는 경우, 법은 피해가 발생한 뒤 책임을 묻는 데 그치지 않고 개발과 이용 단계에서부터 일정한 한계를 설정해 왔다.

국내 법제의 사례로는 인간복제에 관한 규제를 들 수 있다. 「생명윤리 및 안전에 관한 법률」 제20조는 체세포복제배아 및 단성생식배아를 인간 또는 동물의 자궁에 착상시키거나, 착상된 상태를 유지하거나 출산하는 행위를 금지하고 있다. 이는 생명윤리와 인간의 존엄성에 중대한 영향을 미칠 수 있는 특정 행위를 사전에 제한한 사례다. 다만 이 규정이 모든 형태의 복제나 배아 연구를 금지하는 것은 아니라는 점은 구별해야 한다.

국제사회에서도 핵무기의 확산과 사용을 통제하기 위한 규범이 발전해 왔다. 핵확산금지조약(NPT)은 핵무기 비확산과 군축을 위해 핵무기 보유국과 비보유국에 서로 다른 의무를 부과하고 있다. 한편 핵무기금지조약(TPNW)은 당사국에 핵무기의 개발·시험·생산·보유·사용 등을 금지하고 있다. 이처럼 국제사회는 핵무기로 인한 중대한 위험을 줄이기 위해 국가 간 조약을 통한 사전적 통제 장치를 마련해 왔다.

물론 인간복제와 핵무기는 각각 생명윤리와 국제평화라는 고유한 법익을 보호하기 위한 규율이며, AI와 위험의 성격이 동일하지는 않다. 이 사례들이 AI에도 같은 수준의 금지나 규제를 적용해야 한다는 의미는 아니다. 다만 중대한 법익을 침해할 위험이 있는 기술에 대해 법이 개발·이용 단계에서부터 일정한 한계를 설정할 수 있다는 점을 보여준다.

AI 역시 기술의 특성과 위험성에 따라 법적 규율의 범위와 수준을 정교하게 설계할 필요가 있다. 특히 일부 AI 시스템은 인간의 인지능력을 보조하는 수준을 넘어, 부여된 목표에 따라 실행 계획을 수립하고 외부 시스템에 접근해 여러 작업을 수행할 수 있다. 이러한 기능이 고도화될수록 기본권 침해 위험을 사전에 평가하고 통제할 필요성도 커진다.

헌법의 줄다리기… 기본권 보호의무와 규제의 한계

예를 들어 AI가 사람의 의료정보를 분석하고 치료 방법을 추천하는 서비스를 개발한다고 해 보자. 생명과 건강에 영향을 미칠 수 있는 만큼 국가는 개발 단계에서부터 안전성 검증과 관리·감독을 요구할 수 있을 것이다. 그렇다면 국가는 어디까지 개입할 수 있을까? 안전성을 이유로 모든 의료 AI의 개발과 활용에 사전 승인을 요구해도 되는 것일까? 반대로 기술 발전을 위해 안전성 검증을 최소화해도 괜찮을까?

이 질문은 국가의 기본권 보호의무와 규제받는 주체의 기본권이 충돌하는 헌법적 문제로 이어진다.

헌법 제10조는 국가에 개인의 불가침의 기본적 인권을 확인하고 보장할 의무를 부과하고 있다. 헌법재판소도 이 조항 등을 근거로 국가의 기본권 보호의무를 인정해 왔다. 이는 국가가 직접 기본권을 침해하지 않아야 한다는 소극적 의무에 그치지 않는다. 사인이나 사회적 위험으로부터 국민의 기본권을 보호하기 위해 적절하고 효율적인 조치를 마련해야 한다는 의미도 포함한다.

따라서 AI가 인간의 생명·신체·사생활 등 중대한 기본권을 침해할 위험을 초래한다면, 국가는 이를 예방하고 완화하기 위한 입법적·제도적 조치를 검토해야 한다. 그러나 기본권 보호의무가 곧바로 특정한 규제 방식이나 모든 AI에 대한 사전 승인 제도를 요구하는 것은 아니다. 보호조치의 구체적인 내용과 수준은 위험의 정도와 성격 등을 고려해 정해야 한다.

여기에는 규제 자체가 초래할 수 있는 기본권 제한의 문제도 놓여 있다. AI에 대한 과도한 규제는 기술을 연구·개발하는 주체의 학문의 자유와 영업의 자유를 제한할 수 있다. 규제의 내용과 방식에 따라서는 표현의 자유나 정보 접근에도 영향을 미칠 수 있다. 기본권 침해를 예방한다는 이유로 모든 AI의 개발과 활용을 지나치게 제한한다면, 그 규제 자체가 또 다른 기본권 제한의 문제가 될 수 있다.

반대로 국가가 필요한 보호조치를 충분히 마련하지 않아 국민의 기본권 침해 위험을 방치한다면 기본권 보호의무를 다하지 못했다는 문제가 발생할 수 있다. 헌법재판소는 이러한 국가의 보호의무 이행 여부를 심사할 때 과소보호금지원칙을 기준으로 삼는다. 국가가 적어도 적절하고 효율적인 최소한의 보호조치를 취했는지를 살피는 것이다. 한편 국가의 규제가 국민의 기본권을 제한하는 경우에는 과잉금지원칙에 따른 정당성 심사가 문제 된다.

결국 헌법이 요구하는 것은 AI의 무조건적인 허용이나 맹목적인 금지가 아니다. 기본권 침해 위험을 방치해서도 안 되지만, 위험 예방을 명분으로 기술의 개발과 활용을 과도하게 제한해서도 안 된다. 국가의 기본권 보호의무와 규제받는 주체의 기본권을 함께 고려하면서 위험에 상응하는 규율 방식을 찾아야 한다.

“결국 헌법이 요구하는 것은 AI의 무조건적인 허용이나 맹목적인 금지가 아니다.”

기능과 위험에 비례한 차등적 규제… 모든 AI를 동일하게 잴 수는 없다

AI라는 이름 아래 포함되는 기술의 기능과 위험은 서로 다르다. 예를 들어 AI가 회의록을 요약하거나 문장을 작성하는 경우와, 이용자의 금융계좌에 접속해 실제 자산을 거래하는 경우를 생각해 보자. 전자는 결과가 잘못되더라도 대체로 이용자가 내용을 확인하고 수정할 수 있지만, 후자는 잘못된 판단이 실제 금전적 손실로 곧바로 이어질 수 있다. 의료기기나 자율주행 차량을 제어하는 AI라면 생명과 신체에 미치는 위험까지 고려해야 한다.

이처럼 AI는 기능과 활용 영역에 따라 위험의 정도가 다르다. 따라서 법적 규제의 필요성과 수준도 시스템의 기능과 위험에 따라 달라져야 한다.

구체적으로는 AI가 인간의 개입 없이 여러 단계의 작업을 계획하고 실행할 수 있는지, 외부 시스템에 어느 정도 접근할 수 있는지, 실행 과정에서 인간이 개입하거나 중단시킬 수 있는지 등을 살펴야 한다. 예상되는 피해의 발생 가능성과 심각성도 중요한 판단 기준이다.

우리나라도 「AI 발전과 신뢰 기반 조성 등에 관한 기본법」을 통해 고영향 AI에 대한 규율 체계를 마련하고 있다. 이 법은 사람의 생명·신체의 안전 및 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 일정한 영역의 AI를 고영향 AI로 규정하고, 관련 사업자에게 위험관리 방안의 수립·운영, 이용자 보호, 사람의 관리·감독 등의 조치를 요구하고 있다. 또한 고영향 AI를 이용한 제품이나 서비스를 제공하는 사업자에게 기본권 영향평가를 실시하도록 노력할 의무를 규정하고 있다.

이러한 법제는 모든 AI를 동일하게 규제하기보다 위험의 정도에 따라 규율을 달리하려는 접근으로 이해할 수 있다. 단순한 정보 제공이나 저위험 업무에 사용되는 시스템에는 불필요한 규제를 최소화할 필요가 있다. 반면 인간의 생명·신체나 중대한 법적 지위에 영향을 미치는 고위험 AI에는 위험관리, 안전조치, 인간의 관리·감독 등 보다 엄격한 기준이 요구될 수 있다.

중요한 것은 규제의 강도를 기술의 발전 정도만으로 결정해서는 안 된다는 점이다. AI가 수행할 수 있는 행위의 범위, 외부 시스템에 미치는 영향, 피해의 발생 가능성과 심각성을 종합적으로 고려해야 한다. 위험이 큰 영역에는 더 강한 안전장치를 마련하되, 위험이 낮은 영역까지 일률적으로 제한하지 않는 정교한 규제 설계가 필요하다.

사후적 구제의 보완… 과실 없는 피해와 사회적 위험 분담

사전적 규제와 예방 조치가 모든 위험을 제거할 수는 없다. AI의 복잡한 작동 과정에서 예기치 못한 오류나 결함이 발생할 수 있고, 적절한 안전조치를 마련했더라도 피해가 발생할 가능성은 남아 있다.

가령 자율주행 시스템을 개발한 기업이 당시의 기술 수준과 합리적인 안전기준에 따라 필요한 검증을 마쳤고, 차량 운영자도 정해진 관리 절차를 준수했다고 해 보자. 그런데 실제 도로에서 예상하기 어려운 복합적인 상황이 발생해 시스템이 오작동하고 보행자가 다쳤다면 어떨까? 사고는 발생했지만 개발자나 운영자의 구체적인 과실을 확인하기 어려운 상황이다.

이때 전통적인 과실책임 원칙에만 의존한다면 피해구제에 어려움이 생길 수 있다. 피해자는 특정 주체의 과실을 입증하기 어려울 수 있기 때문이다. 물론 구체적인 사고에 따라 제조물책임 등 별도의 법리가 적용될 가능성도 있다. 그러나 기존의 법적 책임체계만으로 충분히 해결하기 어려운 피해가 발생할 가능성까지 배제할 수는 없다.

그렇다면 특정 주체의 과실이나 책임 소재를 명확히 밝히기 어려운 피해는 어떻게 보상해야 할까? AI 기술의 편익이 사회 전반으로 확산되는 상황에서 그로 인해 발생하는 위험을 개별 피해자에게만 부담시키는 것이 적절한지 생각해 볼 필요가 있다. 기술의 개발과 활용으로 이익을 얻는 주체와 사회 전체가 위험을 어떻게 나누어 부담할 것인지도 중요한 문제다.

“AI 기술의 편익이 사회 전반으로 확산되는 상황에서 그로 인해 발생하는 위험을 개별 피해자에게만 부담시키는 것이 적절한지 생각해 볼 필요가 있다.”

이러한 관점에서 고위험 AI를 운영하는 주체에게 책임보험 가입을 의무화하는 방안이나, 특정 주체의 과실 또는 법적 책임을 명확히 밝히기 어려운 피해에 대비해 별도의 보상기금을 마련하는 방안을 검토할 수 있다. 책임보험은 법률상 배상책임이 인정되는 경우 그 책임을 보험으로 보장하는 제도인 반면, 보상기금은 법률이 정한 요건에 따라 개별 주체의 과실이나 책임이 명확히 입증되지 않은 피해에도 보상을 제공할 수 있다는 점에서 차이가 있다.

이는 AI로 인한 피해를 개별적인 책임의 문제로만 보지 않고 사회적 위험의 분담이라는 관점에서 접근하는 것이다. 물론 이러한 제도의 도입 여부와 범위는 위험의 정도, 재원 부담의 공정성, 기존 피해구제 제도와의 관계 등을 함께 고려해 신중하게 결정해야 한다. 그러나 AI로 인한 피해가 기존의 법적 책임체계만으로 충분히 구제되지 못할 가능성이 있다면, 새로운 피해구제 방안을 논의할 필요가 있다.

통제를 통한 자유의 보장… 인간의 존엄을 지키는 헌법의 역할

AI에 대한 법적 통제와 규율은 기술의 혁신과 진보를 가로막기 위한 족쇄가 아니다. 기술의 자율성이 확대되는 시대에도 인간의 존엄성과 기본권을 보호하기 위한 안전장치다.

사전적으로는 기술의 위험을 평가하고 합리적으로 통제하며, 사후적으로는 피해의 원인과 책임을 규명하고 적절한 구제 방안을 마련해야 한다. 나아가 현행 법체계만으로 충분히 구제하기 어려운 피해에 대해서는 사회적 위험 분담이라는 새로운 접근도 고민할 필요가 있다.

AI의 자율성이 확대될수록 인간의 기본권을 보호하기 위한 법적 통제와 책임의 체계도 함께 발전해야 한다. 기술의 발전을 허용하는 법과 그로 인한 위험을 통제하는 법은 서로 대립하는 것이 아니다. 인간의 존엄과 권리를 지키는 범위 안에서 기술이 발전할 수 있도록 하는 것, 그것이 AI 시대 헌법의 역할이다.

김정화 고려대학교 헌법학 박사

고려대학교 헌법학 박사로, 2023년부터 방송통신대학교 대학원에서 「정보사회인권」을 강의하고 있다. 정보사회와 인권을 중심으로 헌법과 기본권의 문제를 살펴보며, AI 시대의 헌법적 쟁점을 이야기한다.

[헌법으로 읽는 AI]는 급격한 AI 기술의 확산 속에서 인간의 자율성과 기본권, 법치주의가 마주한 본질적인 과제들을 법철학적 시각에서 짚어보는 기획 연재입니다.

RELATED ARTICLES

RECOMMENDED STORIES