MIT 미디어랩 연구진이 챗봇의 도움을 받아 가짜뉴스를 판별한 참가자들이 처음에는 정확도가 높아졌지만, 4주 뒤에는 AI 없이 가짜뉴스를 가려내는 능력이 사용 전보다 15% 낮아졌다는 연구 결과를 내놨다. 챗봇을 활용하면 초반 정확도는 21% 높아졌지만 장기적으로는 독립적인 판별력이 떨어질 수 있다는 분석이다.
MIT 테크놀로지 리뷰(MIT Technology Review)는 8월 26일 MIT 미디어랩의 패티 매스(Pattie Maes)와 동료 연구진이 수행한 연구를 소개했다. 참가자들은 4주 동안 뉴스 제목과 이미지가 짝지어진 자료를 평가했으며, 챗봇의 도움을 받을 때와 AI 없이 판단할 때의 가짜뉴스 식별 능력을 비교했다.
연구진에 따르면 참가자들은 챗봇을 이용한 초기 평가에서 실제 뉴스와 가짜뉴스를 구분하는 정확도가 사용 전보다 21% 높았다. 그러나 4주차에는 AI를 사용하지 않고 판단했을 때의 정확도가 연구 시작 전보다 15% 낮아졌다. 참가자의 약 4분의 1은 가짜뉴스를 판별하는 능력이 오히려 좋아졌다고 느꼈지만, 자기 평가와 실제 수행 결과 사이에는 차이가 나타났다.
이번 결과는 다른 분야에서도 관찰된 ‘AI 의존성 역설’과 맞닿아 있다. 안쿠 라니(Anku Rani) MIT 미디어랩 미디어 예술·과학 박사과정생은 이용자들이 ‘마법 같은’ 대규모언어모델(LLM)에 매료되면서도 LLM이 연속된 문장에서 다음 토큰을 예측하는 통계 모델이라는 점을 잊는다고 말했다. 라니는 발데마르 댄리(Valdemar Danry) 미디어 예술·과학 박사과정생과 함께 연구의 주요 저자로 참여했다.
다만 모든 챗봇 사용 방식이 같은 결과를 낳은 것은 아니었다. 댄리는 정답을 직접 제시하는 ‘말하는’ AI가 이용자의 의존을 키우기 쉽지만, 소크라테스식 질문으로 답을 유도하는 ‘묻는’ AI는 사용자가 스스로 진위를 가리는 방법을 배우도록 돕는 경향이 있었다고 설명했다. 이런 방식은 초기에는 판단에 더 많은 시간과 노력이 들지만 이후 독립적인 수행 능력이 더 강하게 나타나는 것과 관련됐다. 댄리는 속도와 노력 사이에 상충 관계가 있다고 말했다.