AI가 업무상 오류를 내더라도 그 결과를 고객에게 제공한 전문가나 기업이 책임을 질 수 있다는 지적이 나왔다. 더컨버세이션(The Conversation)은 10월 14일 세무·법률 업무와 고객 상담에서 발생한 사례를 들어 AI 결과를 검증할 책임은 이용자에게 있다고 짚었다.
AI가 만든 허위 인용과 잘못된 안내
AI 사용은 전문직 전반으로 확산했다. 갤럽 조사에서는 2026년 2월 미국 직장인의 52%, 전문서비스업 종사자의 68%가 AI를 사용한다고 답했고, 톰슨로이터 조사에서는 2026년 봄 전문가의 74%가 업무에 AI를 주 몇 차례 이상 활용한다고 집계됐다. AI는 조사와 복잡한 정보 요약, 문서 작성에 도움을 주지만, 그럴듯한 설명과 함께 틀린 정보를 만들어낼 수 있다.
세무법원 사건 ‘클린코 대 국세청장’에서는 변호사가 제출한 서면의 인용 판례 4건 중 3건이 존재하지 않는 세무법원 판례로, AI가 만들어낸 허위 인용으로 보인다고 법원이 판단했다. 법원은 제재 가능성을 경고했지만 해당 사건에서 변호사에게 실제 제재를 내리지는 않았다. 스탠퍼드대가 2024년 법률 조사용 AI 도구를 시험한 연구에서도 응답의 17~33%에 오류가 확인됐다.
오류를 확인할 책임은 누구에게 있나
AI 오류가 법률 문서에만 나타나는 것은 아니다. 딜로이트는 2025년 호주 정부의 복지 수급자 제재 자동화 시스템을 검토한 237쪽 보고서에 존재하지 않는 학술 인용과 연방법원 판결의 조작된 인용문을 포함했다. 딜로이트는 생성형 AI가 오류를 냈다고 설명하고 수수료 일부를 환불하기로 했다. 에어캐나다 챗봇은 2022년 고객에게 사별 항공권 환급 정책을 잘못 안내했고, 브리티시컬럼비아주 민사분쟁조정재판소는 항공사가 정확한 안내를 보장할 주의 의무를 다하지 않았다며 고객에게 812캐나다달러를 지급하도록 했다.
AI 개발사를 상대로 한 소송의 결과는 각각 다르다. 2025년 조지아주 법원은 챗GPT가 라디오 진행자 마크 월터스에게 횡령 혐의를 잘못 씌웠다는 명예훼손 소송에서 오픈AI의 손을 들어줬다. 반면 구글 AI 요약이 TV 제작자 키ーン의 범죄 이력을 허위로 알렸다는 소송에서는 2026년 9월 일부 명예훼손 청구가 진행될 수 있다는 판단이 나왔으며, 구글의 책임 여부는 아직 결정되지 않았다.
AI는 틀린 정보를 실제 조사 결과처럼 꾸며내는 ‘환각’ 또는 ‘허위 정보 생성’을 할 수 있다. 미국 국립표준기술연구소는 2024년 AI 위험관리 보고서에서 이런 오류를 ‘확신에 찬 잘못된 정보 제시’로 설명했다. 더컨버세이션은 오류를 독립적으로 확인하기 어렵고 실제 자료와 비슷하게 제시될수록 이용자가 믿기 쉽다며, 전문가는 AI 결과를 검증하고 업무상 판단을 넘겨서는 안 된다고 강조했다.