더컨버세이션(The Conversation)은 경찰의 인공지능(AI) 활용이 편향과 오인식, 조작된 증거 문제를 일으켜 경찰과 사법제도에 대한 대중의 신뢰를 훼손할 수 있다고 지적했다. 매체는 캐나다 경찰의 AI 사용을 즉각 금지해야 한다고 주장했다.
더컨버세이션은 8월 28일 보도에서 2022년 챗GPT(ChatGPT) 출시 이후 법 집행기관을 포함한 여러 분야에서 AI 도입이 빠르게 진행됐지만, 이를 통제할 정책과 법률은 충분히 마련되지 않았다고 설명했다. 경찰의 정당성은 공정한 법 집행과 대중·법원에 정확한 정보를 제공하는 절차적 정의에 달려 있는데, AI의 편향과 정보 왜곡이 이를 위협한다는 것이다.
경찰이 AI로 증거를 다루는 관행은 영국, 미국, 캐나다에서 이미 나타났다. 영국의 한 고위 형사 수사관은 지난 6월 여러 사건의 증거 자료를 만들기 위해 AI를 부적절하게 사용한 것으로 지적됐고, 미국과 캐나다 경찰은 마약 단속 압수물의 AI 생성 이미지를 공식적으로 공개했다. 얼굴인식과 감시 기술에서도 오인식 위험이 제기됐다. AI는 여성과 피부색이 어두운 사람의 이미지를 식별할 때 틀릴 가능성이 더 높다는 연구 결과가 있다는 설명이다.
실제 사례도 소개됐다. 노스다코타주 경찰은 올해 초 범죄와 무관한 테네시주의 한 할머니를 얼굴인식 AI로 잘못 지목해 5개월 넘게 구금한 것으로 알려졌다. 메릴랜드에서는 지난해 말 AI 기반 고교 감시 시스템이 과자 봉지를 총기로 오인하면서 경찰관이 무고한 10대 학생에게 총을 겨눈 일이 있었다. 더컨버세이션은 이런 사례들이 경찰의 AI 사용에 따른 위험을 보여준다고 밝혔다.
캐나다 왕립기마경찰(RCMP)이 보디카메라 사업의 일환으로 진행한 AI 경찰 보고서 작성 시범사업도 논란의 대상이 됐다. 이 기술은 챗GPT를 맞춤화한 변형 모델을 사용해 보고서를 작성하지만, 재판에서 핵심 증거로 활용될 수 있는 문서의 진실성이 훼손될 수 있다는 우려가 나온다. 유타주에서는 같은 기술이 작성한 보고서에 보디카메라 음성에 담긴 디즈니 영화 ‘공주와 개구리’가 배경으로 재생된 탓에 경찰관이 현장에서 개구리로 변했다는 내용이 들어갔다. 경찰 행정 담당자는 AI 생성 보고서를 바로잡는 중요성을 배웠다고 인정했지만, 눈에 띄지 않는 허위 내용이 그대로 남을 가능성은 여전히 해결되지 않았다는 지적이다.
개인정보 보호 문제도 제기됐다. 시민은 경찰과의 접촉을 피하기 어려운 상황에서 보디카메라에 찍힌 얼굴과 음성, 개인정보가 AI에 입력되는 것을 거부하기 어렵고, 해당 정보가 모델 학습에 활용되는 데 동의하지 않았을 수 있다. 캐나다 경찰기관마다 AI 도입과 운영 방식이 통일돼 있지 않아 정보 활용 경로를 시민이 알기 어렵고, 일부 기관은 언론의 정책 문의에 답변하지 않았다고 매체는 전했다.
더컨버세이션은 경찰과 영리 소프트웨어 기업의 협력이 경찰과 시민의 관계를 바꾸는 경제적 구조를 만들고 있지만, 기존 감독 체계는 관련 법적·윤리적·사회적 위험에 대응하기 어렵다고 분석했다. 이미 인적 오류와 경찰의 위법행위, 구조적 편향으로 오판이 발생하는 만큼, 국가가 피고인의 자유를 제한할 권한을 행사하는 사법 영역에서는 AI를 추가 위험 요인으로 허용해서는 안 된다는 주장이다.