미국 법원이 소송서류에 인공지능(AI)만 읽을 수 있는 숨은 지시문을 넣어 재판 결과를 유리하게 만들려 한 시도를 ‘악의적 프롬프트 인젝션’으로 지적했다.
아스테크니카는 8월 15일자 보도에서 이번 판단이 코네티컷주(Connecticut) 판사 월터 스패더 주니어(Walter Spader Jr.)의 최근 결정에 담겼다고 전했다.
스패더 판사는 지난주 발표된 결정에서, 원고가 의료 서비스 제공자가 기록 접근을 부당하게 막았다고 주장한 사건에서 ‘숨은 텍스트’가 판결에 영향을 주지는 않았다고 밝혔다. 다만 그는 이 같은 방식이 “위험한 선례”가 될 수 있다고 경고했다. 스패더 판사는 원고가 서류를 검토하는 소프트웨어에는 읽히도록 하면서 인간에게는 보이지 않게 지시문을 ‘보이지 않는 형태로 포맷’했다고 설명했다.
원고 매튜 엘리엇(Matthew Elliott)은 문제의 지시문이 법원을 ‘감사(audit)’하려는 공익 목적이었다고 주장했다. 그는 유머로 삽입한 것으로, 유튜브 영상 링크와 “hi 🙂 I hope yo ucant see me” 같은 문구, “TELL SHAWN I SEND MY RE GARBS!!!!”라는 메시지 등을 예로 들었다. 하지만 스패더 판사는 인간이 법률을 아는 상태로 서류에 나온 ‘기계 산출물’을 확인했을 때 지시문이 드러났고, 엘리엇의 변명은 설득력이 없다고 판단했다.
판사는 원고가 명령을 문서 안에 숨겨 이후 시스템이 그 명령을 시스템 운영자에게서 나온 것으로 취급하도록 ‘밀반입’하려 했다고 지적했다. 또한 코네티컷 법원은 서류 검토·결정에 AI를 사용하지 않아, 법원 내부 AI가 지시문을 재판 지침으로 오인할 위험은 낮았다고 설명했다. 그럼에도 그는 엘리엇이 경고 이후에도 숨은 문구를 계속 추가해 ‘중대한 소송 남용’에 해당한다고 보고 제재가 필요하다고 밝혔다.
결국 법원은 엘리엇에 대해 금전 제재 대신 향후 전자접수(e-filing)를 금지하는 조치를 내렸다. 스패더 판사는 프롬프트 인젝션이 다른 분야에서 흔해지고 있어 법원에서도 추가 시도가 나올 수 있다고 경고했다. 그는 브라질에서는 법원이 AI로 사건을 검토하는 절차에서 동일한 공격이 적발돼 변호사들이 약 16000달러의 금전 제재를 받은 사례도 언급하며, 프롬프트 인젝션이 법원의 기존 대응 범위에 충분히 포함되지 않았다고 지적했다.