핵심 요약
영국 내무부(Home Office)가 망명 심사에 도입한 인공지능(AI) 시스템이 전문가 정확도 검사에서 22%의 부적합 판정을 받았다. 망명 신청자의 진술을 잘못 요약하거나 중요한 정보를 누락하는 문제가 발견됐고 전문가가 검사한 요약문은 전체 예상 처리량의 0.3%에 불과하다는 지적도 나왔다.
더레지스터는 10월 13일 영국 디지털 권리단체 오픈라이츠그룹(Open Rights Group·ORG)의 조사 결과를 인용해 내무부의 AI 요약문 203건 가운데 45건이 전문가의 1차 정확도 검사에서 탈락했다고 보도했다.
영국의 디지털 권리 보호단체 오픈라이츠그룹(Open Rights Group·ORG)은 10월 12일 공개한 조사보고서에서 내무부가 AI의 정확성을 충분히 검증하지 않고 있다고 비판했다.
203건 중 45건 탈락…추가 검사에서도 오류 발견
내무부는 오픈AI(OpenAI)의 GPT-4o를 활용해 망명 신청자의 면담 기록을 요약하는 망명 사건 요약 시스템(Asylum Case Summarisation·ACS)과 담당 공무원이 관련 정책을 검색하는 망명 정책 검색 시스템(Asylum Policy Search·APS)을 운영하고 있다.
두 시스템은 마이크로소프트(Microsoft)의 애저 AI 파운드리(Azure AI Foundry)를 통해 제공된다. 정책 검색 시스템은 2025년 7월, 사건 요약 시스템은 2026년 4월부터 전면 운영됐다.
정보공개 청구로 확보한 자료에 따르면 사건 요약 시스템의 전문가 1차 검사 203건 가운데 139건이 통과했고, 19건은 추가 검토 대상으로 분류됐다. 나머지 45건(22.2%)은 정확도 기준에 미달했다.
2차 검사에서는 56건 가운데 30건이 부적합 판정을 받았다. 다만 2차 검사는 문제가 발견됐거나 추가 검토가 필요한 요약문을 대상으로 했다.
인디펜던트도 10월 8일 AI 요약문에 여러 사실 오류가 있거나 신청자의 진술을 잘못 전달한 경우 부적합 판정을 받을 수 있다고 전했다.
오픈라이츠그룹은 요약문에 포함된 정보가 정확하다면 중요한 내용이 누락됐더라도 검사를 통과할 수 있다는 점도 지적했다.
전문가 검사 비율 0.3%…정부는 인간 감독 강조
오픈라이츠그룹은 내무부의 예상 사건 처리량을 기준으로 전문가가 검사한 요약문이 전체의 약 0.3%에 불과하다고 추산했다.
영국 정부는 AI가 망명 허가나 거부를 직접 결정하지 않는다는 입장이다. 내무부는 4월 28일 공개된 영국 의회 서면답변에서 시범 운영과 평가를 거쳤으며, 담당 공무원 교육과 오류 신고 체계를 마련했다고 밝혔다.
그러나 오픈라이츠그룹은 정책 검색 시스템에 대한 전문가 검사가 중단됐고, 검사 결과를 종합한 보고서도 마련되지 않았다고 주장했다. 망명 신청자에게 AI 사용 사실을 별도로 알리지 않아 요약문을 확인하고 오류를 정정할 기회가 부족하다는 점도 문제로 제기했다.
시범 운영 때는 23분 절약…전면 도입 후 처리 실적 악화
내무부가 2025년 4월 29일 발표한 AI 시범 운영 평가보고서에 따르면 사건 요약 시스템은 면담 기록 검토 시간을 건당 평균 23분, 정책 검색 시스템은 정보 검색 시간을 평균 37분 줄였다.
하지만 당시에도 요약문 9%가 부정확하거나 정보가 누락돼 사용 대상에서 제외됐다. 평가 참여자의 23%는 요약문을 완전히 신뢰하기 어렵다고 응답했다.
오픈라이츠그룹은 전면 도입 이후인 올해 4월부터 월평균 망명 최초 결정 건수가 전년 같은 기간보다 약 42% 감소했고, 면담부터 결정까지 걸리는 평균 시간은 29% 증가했다고 주장했다.
인권단체, AI 사용 중단과 독립 감사 요구
오픈라이츠그룹은 3월 16일 공개한 법률 검토 의견서에서는 AI가 중요한 증거를 누락하면 망명 심사의 절차적 공정성과 개인정보보호법상 문제가 발생할 수 있다고 지적했다.
또한 내무부가 해당 시스템의 알고리즘 투명성 기록을 공개하지 않았으며 독립적인 외부 감사 계획도 없다고 비판했다. 단체는 두 시스템의 사용 중단과 독립 감사를 요구하고 있다.
오픈라이츠그룹의 프로그램 매니저 사라 알셰리프(Sara Alsherif)는 10월 12일 공식 성명에서 “누군가가 영국에서 피난처를 구할 수 있는지 결정하는 것은 국가가 한 개인에 대해 내릴 수 있는 가장 중대하고 인생을 바꾸는 결정 중 하나이기 때문에 그 결정에 이르는 절차는 투명하고 공정하며 책임성을 갖춰야 한다”고 밝혔다.
Q&A
Q1. 정확도 검사에서 22%가 탈락했다면 망명 결정도 22%가 잘못됐다는 뜻인가?
아니다. 22%는 전문가가 검사한 AI 요약문 203건 중 부적합 판정을 받은 비율이다. 실제 망명 결정의 오류율을 뜻하지 않는다.
Q2. AI가 잘못 요약한 내용 때문에 망명 신청이 거부되면 법적으로 문제가 되는가?
중요한 진술이나 증거가 누락·왜곡돼 결정에 영향을 미쳤다면 불복절차에서 다툴 수 있다. 다만 AI 오류만으로 결정이 자동 취소되는 것은 아니다.
Q3. 이번 사건은 영국의 공공부문 AI 규제와 어떤 관계가 있는가?
영국은 공공기관의 AI 활용에 대해 투명성 기록과 위험관리 지침을 운영한다. 이번 사건에서는 AI 사용 사실의 고지, 오류 정정 기회, 독립 감사와 인간 감독의 실효성이 주요 쟁점이다.
