챗GPT에 법률·정신건강 상담을 맡기거나 직장 기밀문서를 입력하지 말아야 한다는 지적이 나왔다. IT 전문 매체 엔가젯(Engadget)은 9월 23일 챗GPT를 변호사·의사·치료사처럼 사용해서는 안 된다며 이용자가 피해야 할 다섯 가지 용도를 정리했다.
법률·정신건강 조언은 전문가에게
법률 분야에서는 챗GPT가 만들어낸 가짜 판례와 인용문을 법원 서류에 넣는 사례가 이어지고 있다. 법률·데이터과학 연구자 데이미언 샤를로탱(Damien Charlotin)이 관리하는 공개 데이터베이스에는 세계 각국 법원이 챗GPT가 만든 허위 인용·인용문·논거를 발견한 사건이 2000건 넘게 기록됐다. 이 가운데 자기변호 당사자 사건이 1175건으로 가장 많았고, 변호사 사건도 815건에 달했다.
미국을 비롯해 영국·남아프리카공화국·이스라엘·호주·스페인에서도 비슷한 사례가 확인됐으며, 법원은 일부 사건에서 수천달러대의 벌금을 부과했다. 오픈AI(OpenAI)는 지난해 10월 이용 정책을 고쳐 면허가 필요한 맞춤형 조언을 면허 보유 전문가의 관여 없이 제공하는 행위를 금지했다. 챗GPT 대화에는 변호사와 의뢰인 사이의 법적 비밀보호가 적용되지 않기 때문에, 진행 중인 분쟁의 구체적인 내용을 입력하면 상대방 변호사의 증거개시 대상이 될 수 있다는 설명이다.
정신건강 상담도 위험성이 지적됐다. 오픈AI는 지난해 챗GPT 주간 이용자의 0.15%가 자살 계획 가능성을 보여주는 명시적 표현을 대화에 포함한다고 추산했는데, 주간 이용자 9억명 이상을 기준으로 하면 100만명 이상에 해당한다. 샘 올트먼(Sam Altman) 오픈AI 최고경영자는 특히 젊은 이용자들이 챗GPT를 치료사나 인생 코치처럼 대한다고 말했지만, 이 대화 역시 법적 보호를 받지 않는다. 연구자들은 챗봇이 사용자의 기존 믿음에 동조하는 답변을 내놓아 망상적 사고를 강화할 수 있다고 지적했다.
기밀 문서와 민감한 정보도 입력 금지
엔가젯은 의료 판단이나 치료 결정을 챗GPT에 맡기는 일도 피해야 할 용도로 제시했다. 챗봇은 자신감 있는 어조로 답하더라도 정확성이 보장되지 않으며, 사용자가 제공한 한쪽 설명만으로 상황을 판단한다. 일리노이·네바다·메인주 등은 AI가 치료를 제공하거나 치료 관련 결정을 내리는 것을 제한하는 법률을 마련했다. 오픈AI는 위기 대응을 170명 넘는 임상의의 의견을 반영해 개편하고 보호자 통제 기능을 추가했지만, 아동 안전 전문가들은 청소년용 챗GPT의 안전성에 의문을 제기하고 있다.
직장 기밀정보를 제3자 챗봇에 올리는 것도 금물이다. 미국 사이버보안·인프라보안국(CISA) 전 직무대행 국장 매슈 고툼쿠칼라(Madhu Gottumukkala)는 지난해 여름 ‘공식 사용 전용’으로 표시된 계약 문서 최소 4건을 공개형 챗GPT에 입력했다가 보안 경보와 국토안보부 조사를 촉발했다. 삼성전자(Samsung Electronics)도 2023년 5월 엔지니어들이 내부 소스코드를 챗GPT에 붙여넣은 뒤 회사 기기에서 생성형 AI 도구 사용을 금지했다. 외부 서버에 저장된 대화는 회수·삭제가 어렵고, 다른 이용자에게 노출되거나 법적 절차의 대상이 될 수 있다는 이유에서다. 소비자 계정의 대화는 설정에 따라 새 모델 학습에 쓰일 수 있으며, 학습 제외를 선택해도 저장과 유출 가능성이 사라지는 것은 아니다.