생성형 인공지능(AI)이 만들어낸 가짜 판례와 허위 인용이 미국 법원에 제출되는 문제가 3년째 계속되고 있다. 최근에는 존재하지 않는 판례를 넘어 가공의 증인과 경찰 증언이 변론서에 들어가고, 판사가 작성한 명령문에서도 가짜 판례가 발견됐다. 법원이 벌금과 법정모독, 변호사 징계 회부 등 제재를 잇달아 내리고 있지만 AI 오류가 법률 문서에 침투하는 범위는 오히려 넓어지고 있다.
로이터는 9월 17일 “생성형 AI 오류가 확인된 미국 주·연방법원 사건이 최소 1395건에 이르며, 2023년 미국 법원이 AI가 만든 가짜 판례를 제출한 변호사들을 처음 제재한 이후에도 관련 사례가 계속 늘고 있다”고 보도했다. 이 수치는 AI 관련 법원 사건을 추적해 온 연구자 다미앵 샤를로탱(Damien Charlotin)의 데이터베이스를 토대로 한 것이다.
문제의 핵심은 변호사가 AI를 사용했다는 사실 자체가 아니다. AI가 생성한 판례와 사실관계를 사람이 검증하지 않은 채 법원에 제출하는 데 있다. 미국변호사협회(ABA)가 2024년 발표한 공식 의견서 512호(Formal Opinion 512)는 생성형 AI를 이용하는 변호사에게도 직무능력, 의뢰인 정보 보호, 의뢰인과의 소통, 직원 감독, 법원에 대한 진실성, 합리적인 보수 청구 등 기존 윤리 의무가 그대로 적용된다고 명시했다.
가짜 판례 넘어 ‘존재하지 않는 증인’까지
최근 사례는 AI 환각의 위험이 단순한 판례번호 오류를 넘어 재판의 기초가 되는 사실관계까지 오염시킬 수 있다는 점을 보여준다.
뉴멕시코주 대법원은 살인 유죄판결에 항소한 피고인을 대리한 변호사 스티븐 에런스(Stephen Aarons)가 챗GPT(ChatGPT)를 이용해 작성한 서면에 존재하지 않는 증인과 허위 증언을 포함한 사실을 확인했다. 더버지(The Verge)는 9월 11일 “법원이 에런스에게 5000달러(약 690만원)의 벌금을 부과하고 법정모독으로 판단했다”고 보도했다. 에런스는 챗GPT에 재판 기록을 입력해 사건을 요약하도록 했다고 인정했다.
문제의 서면에는 실제로 존재하지 않는 증인들의 진술과 총격범의 외모 등에 관한 허위 내용이 포함됐다. AI가 법률 검색 과정에서 판례를 잘못 생성하는 수준을 넘어 사건 기록에 없는 사실까지 만들어낸 것이다.
캘리포니아에서도 비슷한 문제가 불거졌다. 로이터는 9월 14일 “보험사 스테이트팜(State Farm)을 대리한 변호사가 AI가 생성한 존재하지 않는 판례와 조작된 인용문이 포함된 법원 문서를 제출해 로스앤젤레스 법원에서 999.99달러(약 138만원)의 제재금을 부과받았다”고 보도했다.
이 사건은 제재 결정 전부터 논란이 됐다. 로스앤젤레스타임스는 8월 19일 “스테이트팜의 외부 변호사가 법률 AI 아이리스(Irys)를 사용한 뒤 생성된 판례를 사실 확인하지 않은 채 법원에 제출했고, 여러 신청서에서 존재하지 않는 판례가 발견됐다”고 보도했다. 변호사들은 법원에 제출된 문서에 AI 환각으로 보이는 존재하지 않는 판례 인용이 포함됐다고 인정했다.
이제 ‘가짜 판례’ 없어도 제재 검토…법원이 문제 삼은 ‘AI 슬롭’
법원이 문제 삼는 범위도 넓어지고 있다. 반드시 존재하지 않는 판례나 허위 사실이 발견돼야만 문제가 되는 것은 아니다.
로이터는 9월 17일 “플로리다 제4지구항소법원이 생성형 AI의 영향을 받은 것으로 보이는 서면을 제출한 변호사 재클린 소로카(Jaclyn Soroka)에게 왜 제재해서는 안 되는지를 소명하라고 명령했다”고 보도했다.
이 사건에서는 존재하지 않는 판례나 AI가 조작한 사실이 확인되지 않았다. 재판부가 문제 삼은 것은 서면 자체의 품질이었다. 법원은 주장이 혼란스럽고 관련성이 떨어지는 내용을 반복하는 문서를 ‘AI 슬롭(AI slop)’이라고 표현하면서 변호사가 독립적인 전문적 판단을 행사할 의무를 강조했다.
AI 법률문서 문제가 ‘환각 여부’에서 ‘변호사가 AI 결과물을 실제로 검토하고 자신의 법률적 판단을 거쳤는가’라는 단계로 옮겨가고 있는 셈이다. AI가 허위 판례를 만들지 않았더라도 변호사가 기계 생성물을 제대로 검토하지 않은 채 제출했다면 기존 직업윤리와 소송절차상의 책임 문제가 발생할 수 있다는 것이다.
대형 로펌도 예외 아니다
AI 환각 문제는 개인 변호사나 소형 로펌에 국한되지 않는다.
로이터 보도에 따르면 미국 대형 로펌 설리번앤크롬웰(Sullivan & Cromwell)은 4월 AI가 만들어낸 부정확한 법률 인용과 오류가 포함된 문서를 뉴욕 연방파산법원에 제출한 사실을 인정하고 법원에 사과했다.
설리번앤크롬웰에는 이미 AI 사용에 관한 내부 정책과 교육 절차가 있었지만 담당팀이 이를 따르지 않았고 2차 검토에서도 오류를 발견하지 못했다. 이 사례는 AI 위험 관리가 단순히 사내 지침을 만드는 것만으로 해결되지 않고 실제 법률 문서의 검증 절차와 연결돼야 한다는 문제를 드러냈다.
변호사 넘어 판사 문서에서도 AI 오류
더 민감한 문제는 AI 환각이 변호사가 제출하는 서면을 넘어 재판부가 작성하는 문서에서도 나타나고 있다는 점이다.
로이터는 9월 17일 “오클라호마의 한 판사가 조사관에게 AI 프로그램을 법률 조사에 사용했다고 밝혔고, 자신이 작성한 명령문에는 실제로 존재하지 않는 판례 2건이 들어 있었다”고 보도했다. 로이터는 변호사뿐 아니라 판사와 법원 업무에서도 AI가 생성한 잘못된 내용이 발견되고 있다고 전했다.
미 연방 사법부도 이에 맞춰 AI 사용 원칙을 정비하고 있다. 미 연방법원행정처(Administrative Office of the U.S. Courts)는 9월 17일 연방 사법부 AI 태스크포스가 60개가 넘는 AI 관련 쟁점을 분류해 검토하고 7개 분야별 소그룹을 구성했다고 밝혔다.
연방법원행정처에 따르면 법원에 배포된 임시 지침은 사건 결정이나 재판 같은 핵심 사법 기능을 AI에 맡기지 않도록 경고하고 있다. 동시에 AI의 도움을 받아 수행한 업무도 최종 책임은 해당 사법부 구성원이 져야 한다는 원칙을 명시했다.
이는 미국 사법부가 AI를 전면 금지하기보다 기존 법률가의 책임 체계 안에 AI를 편입시키는 방향으로 대응하고 있음을 보여준다. ABA 역시 생성형 AI를 위한 별도의 윤리체계를 만드는 대신 직무능력과 비밀유지, 감독, 법원에 대한 진실성 등 기존 변호사 윤리를 적용하고 있다.
하지만 법원이 제재를 시작한 지 3년이 지났는데도 관련 사건이 1395건으로 늘어나면서 벌금과 경고 중심의 대응이 충분한 억지력을 갖고 있는지 자체도 문제가 됐다.
최초의 대표적인 AI 환각 제재 사건을 처리했던 미 뉴욕남부연방법원의 P. 케빈 캐스텔(P. Kevin Castel) 판사는 9월 17일 로이터에 “문제가 줄어들지 않고 계속되는 만큼 더 강력한 억지력을 가진 제재의 필요성이 커지고 있다(as the problem continues without abatement, the need for sanctions that are a greater deterrent grows)”고 말했다.
Q&A
Q. AI를 이용해 법원 서면을 작성하는 것 자체가 미국에서 금지돼 있나?
아니다. 제9연방순회항소법원은 생성형 AI를 연구나 초안 작성에 사용했다는 사실 자체가 제재 사유는 아니라고 명시했다. 핵심은 변호사가 최종 문서의 판례·인용·사실관계를 검증하고 자신의 책임 아래 서명·제출했는지다.
Q. AI가 만든 가짜 판례가 아니라 문장이 엉성하기만 해도 제재될 수 있나?
가능하다. 플로리다 제4지구항소법원의 최근 사례에서는 허위 판례나 사실 오류가 발견되지 않았는데도 법원이 혼란스럽고 무의미한 AI식 서술을 ‘AI 슬롭’이라고 지적하며 제재 여부를 검토하고 있다. 이는 변호사의 독립적인 전문 판단 의무가 쟁점이 될 수 있음을 보여준다.
Q. 법원과 판사도 생성형 AI를 사용할 수 있나?
미 연방 사법부는 AI를 전면 금지하지 않는다. 다만 핵심적인 판결·사건 판단을 AI에 위임하지 말고 AI 생성 결과를 독립적으로 확인하도록 하는 임시 지침을 마련했다. 일부 법원에서는 손글씨 문서 전사나 절차적 요건 점검 등 보조 업무에 AI를 사용하고 있다.
Q. 기존 변호사 윤리규칙만으로 AI 오류를 제재할 수 있나?
현재 미국 법원의 접근은 대체로 그렇다. ABA 공식 의견서 512호는 생성형 AI 사용에도 직무능력, 비밀유지, 감독, 법원에 대한 진실성 등 기존 윤리 의무가 적용된다고 정리했다. 제9연방순회항소법원 역시 기술이 어떻게 발전하든 기존 절차·윤리 규칙이 동일하게 적용된다고 밝혔다.
