핵심 요약
AI 요약
기사 목차 펼치기 / 접기
AI가 내린 불투명한 결정, 알고리즘의 이유를 묻다
은행에 대출을 신청한 사람이 심사 결과를 통보받는다. 결과는 거절이다. 채용 과정에 참여한 지원자도 탈락 통보를 받는다. 보험 가입을 신청한 사람은 예상보다 높은 보험료를 제시받는다. 당사자는 결과를 통보받지만, 그 결정에 AI가 활용되었는지조차 알지 못할 수 있다. 설령 AI가 심사에 활용되었다는 사실을 알더라도, 어떤 데이터와 평가 기준이 적용되었는지, 그러한 기준이 자신의 사례에 어떻게 반영되어 해당 결과에 이르렀는지를 확인하기는 쉽지 않다.
물론 이러한 결정이 모두 AI에 의해 이루어지는 것은 아니다. 또한 인간이 내린 결정이라고 해서 언제나 그 이유가 충분히 설명되는 것도 아니다. 그러나 AI를 활용한 분석과 자동화된 의사결정이 금융, 채용, 보험 등 다양한 영역으로 확대되면서, 결정의 결과뿐 아니라 그 판단의 근거와 과정이 충분히 드러나지 않는 문제는 새로운 차원의 과제로 부각되고 있다.
문제는 단순히 결과가 마음에 들지 않는다는 데 있지 않다.
자신에게 불리한 결정이 내려졌을 때, 당사자는 그 근거와 기준을 확인할 수 있어야 한다. 이를 알지 못하면 결과의 합리성이나 부당한 차별·잘못된 정보의 개입 여부를 검증하기 어렵고, 이의를 제기하더라도 무엇을 문제 삼아야 할지 알기 어렵다.
특히 AI가 판단 과정에 개입한 경우에는 또 다른 어려움이 발생할 수 있다. AI의 복잡한 연산 구조와 작동 방식으로 인해, 개발자나 이를 활용한 기관조차 특정 결과가 도출된 구체적인 과정을 충분히 설명하기 어려운 경우가 있기 때문이다.
이러한 현상은 흔히 ‘블랙박스(Black Box)’ 문제라고 불린다. AI는 결과를 제시하지만, 그 결과에 이르는 내부의 처리 과정은 인간에게 충분히 드러나지 않을 수 있다. 그렇다면 AI의 판단 근거를 확인하고 설명하기 어렵다는 사실은 단순한 기술적 한계에 그치는 것일까? 아니면 개인의 권리와 법적 통제의 관점에서 해결해야 할 문제일까?
블랙박스의 장벽… AI의 판단 과정이 불투명한 이유
AI의 판단 과정이 불투명해지는 이유를 이해하려면 먼저 AI가 정보를 처리하는 방식을 살펴볼 필요가 있다.
전통적인 컴퓨터 프로그램은 대체로 사람이 미리 정해 놓은 규칙과 명령에 따라 작동한다. 예를 들어 특정 조건을 충족하면 승인하고, 충족하지 못하면 거절하도록 규칙을 설정할 수 있다. 이러한 규칙 기반 시스템은 어떤 조건이 결과에 영향을 미쳤는지 비교적 쉽게 추적할 수 있다.
반면 오늘날 널리 활용되는 딥러닝 기반 AI는 인간이 모든 판단 규칙을 사전에 직접 입력하는 방식으로 작동하지 않는다. 방대한 데이터를 학습하면서 데이터 속에 존재하는 패턴과 관계를 찾아내고, 이를 바탕으로 결과를 산출한다.
특히 여러 층으로 구성된 인공신경망은 수많은 매개변수와 복잡한 연산을 통해 입력된 정보를 처리한다. 학습 과정에서 각 매개변수의 값이 조정되고, 이들이 복합적으로 작용하면서 최종 결과가 도출된다. 그 결과 어떤 입력값이 어떤 경로를 거쳐 특정 결과에 영향을 미쳤는지 인간이 직관적으로 이해하기 어려워질 수 있다.
예를 들어 AI가 대출 심사 과정에서 특정 신청자의 신용 위험을 높게 평가했다고 가정해 보자. 신청자의 소득, 기존 대출, 신용 이력 등이 분석에 활용되었을 수 있다. 그러나 실제 판단에는 이들 요소가 개별적으로 작용한 것이 아니라 여러 변수 사이의 복잡한 관계가 함께 반영되었을 가능성이 있다. 이때 단순히 어떤 데이터가 입력되었는지를 확인하는 것만으로는 왜 해당 신청자에게 불리한 결과가 나왔는지 충분히 설명하기 어렵다.
물론 모든 AI가 이러한 특성을 갖는 것은 아니다. 비교적 단순한 모델이나 규칙 기반 시스템은 판단 과정을 추적하고 설명하기가 상대적으로 쉽다. 블랙박스 문제는 AI라는 기술 전체에 본질적으로 내재한 속성이라기보다, 모델의 구조와 복잡성, 활용 방식에 따라 정도가 달라지는 문제다.
그럼에도 AI의 활용 범위가 확대되고 판단의 복잡성이 높아질수록, 결과가 도출된 과정을 인간이 이해하고 검증하기 어려워지는 문제가 발생한다. 기술적으로 더 정교한 판단을 수행할 수 있게 되었지만, 역설적으로 그 판단의 이유를 인간에게 설명하기는 더 어려워질 수 있는 것이다.
투명성·설명가능성·해석가능성… 개념의 분화와 차이
AI의 블랙박스 문제를 이해하려면 투명성(Transparency), 설명가능성(Explainability), 해석가능성(Interpretability)을 구분할 필요가 있다. 이들은 국내 법률에서 각각 명확히 정의된 용어라기보다 국제적인 기술·윤리·거버넌스 논의에서 사용되는 개념이다. 학계와 국제기구에 따라 구분 방식에는 차이가 있지만, 이 글에서는 법적 통제와 관련해 다음과 같이 살펴본다.
투명성은 AI 시스템이 어떤 목적과 기준에 따라 개발·운영되는지에 관한 정보를 확인할 수 있는 정도다. 개발 목적, 데이터의 특성, 활용 방식, 위험관리 절차 등이 여기에 포함될 수 있다. 즉, 시스템 전반에 관한 정보를 알 수 있는가의 문제다.
설명가능성은 AI가 특정 결과를 내놓은 이유를 사람이 이해할 수 있는 형태로 설명할 수 있는지를 뜻한다. 대출이 거절되었을 때, 어떤 평가요인이 그 결정에 영향을 미쳤는지 당사자가 이해할 수 있도록 알려주는 것이 한 예다. 시스템에 관한 일반 정보를 공개하는 것과 개별 결정의 이유를 설명하는 것은 다르다.
해석가능성은 모델의 내부 구조와 작동 방식, 변수 사이의 관계를 사람이 기술적으로 이해하고 분석할 수 있는 정도다. 일반적으로 구조가 단순하고 작동 방식이 직관적인 모델일수록 해석가능성이 높다.
쉽게 말해, 투명성은 “AI가 어떻게 운영되는지 알 수 있는가”, 설명가능성은 “내게 왜 이런 결과가 나왔는지 이해할 수 있는가”, 해석가능성은 “모델 내부에서 어떤 방식으로 결과가 만들어지는지 분석할 수 있는가”에 관한 문제다. 이 구분이 법률상 각각의 개념에 일률적인 의무를 부여한다는 뜻은 아니다. 구체적인 의무는 적용 법률과 시스템의 위험 수준, 활용 목적에 따라 정해진다.
이러한 설명을 돕는 기술적 접근이 설명가능한 AI(XAI, Explainable AI)이다. XAI는 변수의 중요도를 분석하거나 입력값을 일부 바꾸었을 때 결과가 어떻게 달라지는지 살펴보는 등, 복잡한 모델의 결과를 사람이 이해하도록 돕는 기법을 포함한다.
다만 XAI가 제공하는 설명이 실제 모델의 판단 과정을 완벽하게 재현한다고 볼 수는 없다. 특히 사후 설명(post-hoc explanation)은 모델 내부의 모든 연산을 그대로 보여주기보다, 결과를 이해하도록 별도의 분석기법을 적용해 구성한 설명일 수 있다.
따라서 설명이 그럴듯하다는 이유만으로 실제 판단의 원인을 정확히 드러낸다고 단정해서는 안 된다. 설명이 원래 모델의 판단을 얼마나 충실히 반영하는지, 당사자가 그 설명을 통해 결정의 타당성을 검증하고 이의를 제기할 수 있는지가 중요하다.
투명성과 설명가능성, 해석가능성은 서로 관련되지만 동일하지 않다.
이들을 구분해야 시스템 정보의 공개, 개별 결정에 대한 설명, 설계·운영 단계의 추적과 기록이라는 서로 다른 보호조치를 구별할 수 있다.
설명할 수 없는 판단과 법적 통제의 출발점
AI의 판단 과정이 불투명하다는 문제는 개인의 권리와 의무에 영향을 미칠 때 법적 문제로 이어진다. 모든 결정에 대해 근거나 기준을 상세히 공개해야 하는 것은 아니다. 그러나 법률이 설명의무를 정한 경우에는 이를 이행해야 하고, 분쟁에서는 사건의 성격과 적용 법률에 따라 판단의 근거와 주장·증명책임이 쟁점이 될 수 있다. AI가 판단에 관여했다는 이유로 이러한 법적 요구가 사라지는 것은 아니다.
“AI가 판단에 관여했다는 이유로 이러한 법적 요구가 사라지는 것은 아니다.”
이 문제는 헌법적 관점에서도 살펴볼 필요가 있다. 개인의 권리·의무에 중대한 영향을 미치는 결정의 근거를 알 수 없고 오류나 차별을 다툴 기회마저 제한된다면, 이는 권리구제의 실효성과 연결된다. 헌법 제10조의 인간의 존엄과 가치 및 행복추구권, 제11조의 평등권, 제12조의 적법절차 원리는 국가작용을 중심으로 직접 적용 여부가 논의된다. 다만 사적 영역의 AI 결정도 입법과 법률 해석을 통해 기본권 보호의 관점에서 통제할 필요가 있다.
그렇다고 헌법이 모든 AI 결정에 대해 포괄적이고 무제한적인 설명청구권을 직접 보장한다고 단정할 수는 없다. 핵심은 권리 침해 가능성과 영향의 정도에 비례해 설명, 재검토, 이의제기 절차를 법률로 구체화하는 데 있다.
우리 법의 한 제도적 장치는 「개인정보 보호법」 제37조의2다. 이 조항은 개인정보를 완전히 자동화된 시스템으로 처리해 이루어진 결정에 관하여 정보주체의 권리를 규정한다. 자동화된 결정이 권리 또는 의무에 중대한 영향을 미치는 경우 정보주체는 법률상 예외에 해당하지 않는 한 이를 거부할 수 있다. 또한 자동화된 결정에 대해서는 설명 등을 요구할 수 있다. 개인정보처리자는 정당한 사유가 없는 한 자동화된 결정을 적용하지 않거나 인적 개입에 의한 재처리·설명 등 필요한 조치를 해야 한다. 같은 조 제4항은 결정의 기준과 절차, 개인정보가 처리되는 방식 등을 쉽게 확인할 수 있도록 공개하도록 정한다.
「개인정보 보호법 시행령」 제44조의3은 설명 요구에 대한 조치로 결정 결과, 사용된 주요 개인정보의 유형, 해당 개인정보가 결정에 미친 영향 등 주요 기준과 개인정보 처리 과정 등을 포함한 간결하고 의미 있는 설명을 제공하도록 규정한다. 이는 설명을 추상적인 문구에 그치지 않고 당사자가 이해할 수 있도록 구체화한다는 점에서 의미가 있다.
다만 설명을 요구할 수 있다는 사실과 기술적으로 충분한 설명을 제공할 수 있다는 사실은 같지 않다. 여기서 설명의무와 입증책임도 구별해야 한다. 설명요구권이 인정된다고 해서 모든 분쟁에서 개발자나 이용자에게 책임 또는 입증책임이 자동으로 전환되는 것은 아니다. 누가 무엇을 증명해야 하는지는 적용 법률과 분쟁 유형에 따라 달라진다. 기술적 한계가 있는 경우에도 기록 보존, 주요 요인의 제시, 인간에 의한 재검토 등 절차를 통해 검증 가능성을 보완할 수 있다.
이 점을 보여주는 사례가 유럽연합 사법재판소의 SCHUFA 판결이다. 2023년 12월 7일 사법재판소는 신용정보회사 SCHUFA가 개인의 신용도를 예측하는 점수를 자동 산출하고, 그 점수가 제3자의 계약 체결 여부 결정에 결정적인 역할을 하는 경우, 점수 산출이 GDPR 제22조의 자동화된 개별 의사결정에 해당할 수 있다고 판단했다.
최종 결정을 다른 기관이 내렸다는 형식만으로 자동화된 평가가 법적 통제에서 벗어나는 것은 아니라는 취지다. 이 판결은 AI 설명의무를 직접 판단한 사건은 아니지만, 자동화된 평가가 실제 결정에 실질적으로 영향을 미친다면 그 과정도 권리보호의 관점에서 검토해야 함을 보여준다. 다만 EU GDPR 해석에 관한 판결이므로 국내법에 그대로 적용되는 판례로 이해해서는 안 된다.
AI의 투명성과 설명가능성… 입법이 요구하는 세 가지 층위
AI 활용 사실을 알리는 것과 판단의 근거를 검증하는 것은 서로 다른 문제다.
또한 설명을 요구하더라도 시스템이 이를 제공할 수 없다면 권리는 형식에 그칠 수 있다.
따라서 입법적 접근은 AI 활용 사실의 고지, 개별 결정의 주요 근거에 대한 설명, 시스템의 설계·운영 단계에서 설명과 추적을 가능하게 하는 조치로 나누어 볼 수 있다. 이 세 가지는 서로 대체되는 것이 아니라 보완적이며, 요구 수준은 활용 목적과 개인의 권리·의무에 미치는 영향 및 위험에 비례해야 한다.
AI를 활용했다는 사실을 알릴 의무
첫째, AI가 의사결정이나 서비스 제공에 활용되었다는 사실을 당사자에게 알리는 의무다. 활용 사실을 모르면 당사자는 설명이나 이의를 제기할 필요조차 인식하기 어렵다.
「AI 발전과 신뢰 기반 조성 등에 관한 기본법」 제31조 제1항은 AI사업자가 고영향 AI나 생성형 AI를 이용한 제품 또는 서비스를 제공하려는 경우, AI 기반으로 운용된다는 사실을 이용자에게 사전에 고지하도록 규정한다. 이는 모든 AI 활용에 대한 일반적 고지의무가 아니라 법률이 정한 대상에 관한 의무다. 고지는 투명성의 출발점이지만, 결정의 이유를 설명하는 의무와는 구별된다.
AI가 내린 결정의 주요 근거와 기준을 설명할 의무
둘째, 특정 결과에 영향을 미친 주요 기준과 근거를 당사자가 이해할 수 있도록 설명하는 의무다. 예컨대 대출 거절을 통보받은 신청자에게 “AI가 거절했다”고만 답하는 것으로는 충분하지 않다. 주요 평가요소와 그 적용 방식 등을 이해할 수 있도록 설명해야 한다. 다만 설명의 범위는 적용 법률과 결정의 성격에 따라 달라지며, 모든 내부 연산이나 소스코드 공개를 의미하지는 않는다.
「AI 기본법」 제3조 제2항은 영향받는 자가 AI의 최종결과 도출에 활용된 주요 기준 및 원리 등에 관하여 “기술적·합리적으로 가능한 범위에서” 명확하고 의미 있는 설명을 제공받을 수 있어야 한다고 규정한다. 같은 법 제34조 제1항 제2호는 고영향 AI 사업자에게 기술적으로 가능한 범위에서 최종결과, 주요 기준, 학습용데이터 개요 등에 대한 설명 방안을 수립·시행하도록 정한다. 「개인정보 보호법」 제37조의2도 일정한 자동화된 결정에 대해 정보주체가 거부하거나 설명 등을 요구할 수 있도록 한다.
여기서 「AI 기본법」 제3조 제2항의 “기술적·합리적으로 가능한 범위에서”라는 문구는 중요한 해석 쟁점을 남긴다. 기술적으로 불가능한 설명을 무조건 요구하지 않으면서 현실적인 의무 범위를 설정하려는 취지로 이해할 수 있다.
그러나 가능성 판단을 사업자의 기술적 역량이나 자체 판단에만 맡기면, 설명이 어렵다는 주장이 의무를 축소하는 근거로 사용될 위험도 있다. 따라서 가능성은 사업자의 편의만으로 정해져서는 안 된다. 결정이 권리·의무에 미치는 영향, 합리적으로 취할 수 있는 기술적·조직적 조치, 기록의 확보 여부, 당사자가 오류나 차별을 다툴 실질적 필요 등을 함께 고려해야 한다.
이 문구는 설명의무를 포괄적으로 면제하는 예외라기보다, 위험에 비례해 설명의 방식과 범위를 정하는 기준으로 해석하는 것이 타당하다.
“이 문구는 설명의무를 포괄적으로 면제하는 예외라기보다, 위험에 비례해 설명의 방식과 범위를 정하는 기준으로 해석하는 것이 타당하다.”
설명이 지나치게 추상적이거나 형식적이면 당사자는 결정 이유를 이해하거나 부당성을 다투기 어렵다. 예를 들어 대출 거절에 대해 “복합적 알고리즘 요인에 따른 결과”라고만 답한다면 실질적인 설명이라고 보기 어렵다. 당사자가 주요 데이터 유형과 영향 요인을 확인하고, 잘못된 정보나 판단의 문제를 지적해 인간의 재검토를 요청할 수 있어야 한다.
AI 시스템 자체가 설명가능하도록 설계·개발할 의무
셋째, 결과가 나온 뒤 설명을 덧붙이는 데 그치지 않고, 개발 단계부터 판단을 일정 수준 설명하고 추적할 수 있도록 설계하는 접근이다. 이를 위해 특히 권리·의무에 중대한 영향을 미치는 시스템에는 주요 판단요인을 추적하는 기능, 설명을 제공하는 기능, 관련 기록을 보존하는 기능 등을 요구할 수 있다.
EU 「AI법」 제13조는 고위험 AI 시스템이 배포자가 결과를 해석하고 적절히 사용할 수 있도록 충분한 투명성을 확보하는 방식으로 설계·개발되어야 한다고 규정한다. 이는 사후 설명뿐 아니라 설계 단계에서도 투명성을 고려하도록 요구한다.
다만 국내법의 ‘고영향 AI’와 EU 법의 ‘고위험 AI’은 각 법체계가 정한 범주이므로 동일한 개념으로 단순 치환해서는 안 된다.
이러한 의무는 모든 모델의 내부 연산을 완전히 해석 가능하게 만들라는 결과보장적 의무라기보다, 목적과 위험에 맞춰 설명·검증을 가능하게 하는 기능과 절차를 갖추도록 하는 의무로 이해할 수 있다. 위험이 낮은 활용에서는 기본적인 고지와 정보 제공이 중심이 될 수 있지만, 권리·의무에 중대한 영향을 미치는 시스템에는 설명, 기록의 보존과 추적, 인간의 재검토 및 이의제기 절차 등 더 강한 보호조치가 필요하다.
결국 입법은 활용 사실의 고지, 개별 결정의 설명, 설계·운영 단계의 추적 및 검증 가능성을 상호보완적으로 마련할 수 있다. 중요한 것은 모든 판단을 완벽하게 설명하는 결과를 보장하는 것이 아니라, 기술적 한계가 있더라도 당사자가 주요 근거를 확인하고 이의를 제기할 실질적 통로를 확보하는 것이다.
설명할 수 없는 기술에도 설명을 요구할 권리는 있다
AI가 정교한 결과를 제시한다는 사실이 그 판단의 정당성을 자동으로 보장하지는 않는다.
기술적으로 정확한 예측과 법적으로 정당한 결정은 서로 다른 문제다.
특히 판단이 개인의 권리와 삶에 중대한 영향을 미친다면, 당사자는 주요 근거를 확인하고 오류나 부당성을 다툴 수 있어야 한다.
여기서 요구되는 것은 모든 내부 연산을 완전히 이해하거나 모든 기술정보를 공개하는 일이 아니다. 설명이 충분하지 않은 경우에도 주요 요인을 확인하고, 인간의 재검토를 요청하며, 이의를 제기할 실질적인 기회가 보장되어야 한다. AI의 판단을 법적으로 검증할 수 있는 통로는 기술 발전을 거부하는 장치가 아니라, 사회적 신뢰를 뒷받침하는 조건이다.
블랙박스 문제의 핵심은 기술의 불투명성 그 자체뿐 아니라, 법이 요구하는 설명과 기술적으로 가능한 설명 사이의 간극에 있다. 그 간극을 완벽한 설명만으로 메우려 하기보다, 위험에 비례한 기록·검증 체계와 인간의 재검토, 이의제기 절차를 함께 마련해야 한다. AI의 판단을 모두 설명할 수 없더라도, 그 판단에 대한 권리구제가 불가능해져서는 안 된다.
“AI의 판단을 모두 설명할 수 없더라도, 그 판단에 대한 권리구제가 불가능해져서는 안 된다.”
그렇다면 AI가 왜 그런 판단을 내렸는지 명확히 설명하기 어렵고, 그 판단으로 피해가 발생했다면 책임은 누구에게 물어야 할까? 개발자일까, 운영자일까, 아니면 AI를 활용한 사용자일까?
다음 글에서는 AI가 초래한 피해의 책임 소재와 기존 법체계의 공백을 보완할 해법을 살펴본다.
고려대학교 헌법학 박사로, 2023년부터 방송통신대학교 대학원에서 「정보사회인권」을 강의하고 있다. 정보사회와 인권을 중심으로 헌법과 기본권의 문제를 살펴보며, AI 시대의 헌법적 쟁점을 이야기한다.
