더디코더(The Decoder)는 8월 8일, 이용자가 ChatGPT로 생성된 단편과 사람이 쓴 단편을 구분하지 못하는 실험 결과가 나왔다고 전했다. 더디코더에 따르면 연구진은 총 2,500명 넘는 참가자를 대상으로 3차례 실험을 진행했다. 첫 실험에서는 1,682명이 1,000단어 안팎의 6개 단편을 읽고, 3개는 인간이 쓴 작품, 3개는 ChatGPT 4.0으로 생성된 작품이었다. 참가자들은 ‘인간이 썼다’ 또는 ‘ChatGPT가 썼다’는 정보를 각각 절반씩 들었지만, 실제로는 구분 성과가 우연 수준에 그쳤다. ChatGPT 단편은 질(품질)과 몰입감(immerssion)에서 더 높은 점수를 받았다는 것이다. 질 평가는 AI가 평균 1.54, 인간이 0.97(최소 -3~최대 3)로 나타났고, 몰입감은 AI 1.42 대 인간 1.00이었다. 다만 ‘인간이 썼다’고 들었을 때 두 집단 모두 점수가 더 높았고, 참가자의 AI에 대한 태도도 평가에 영향을 줬다. 추가 실험에서는 참가자들이 인간 작품과 AI 작품을 한 번에 비교해도 구분을 잘하지 못했다고 더디코더는 밝혔다.
