AI를 이용해 글과 연구 보고서, 메모, 소설 등 생각과 주장을 전달하는 실질적인 글을 작성해서는 안 된다는 분석이 나왔다. 서브스택에 게재된 분석은 9월 20일 현재와 가까운 미래의 AI 모델을 대상으로, 글쓰기를 AI에 맡기면 필요한 사고를 피하기 쉬워진다고 주장했다.
AI 글쓰기가 사고를 대신할 수 없는 이유
분석은 글쓰기 과정 자체가 사고 과정의 핵심이라고 지적했다. 글을 문장과 문단으로 구성하는 동안 작성자는 근거와 주장을 점검하고, 서로 맞지 않는 논리를 발견하며, 반론을 반영하거나 당초 결론을 수정하게 된다는 것이다. 개요나 상세한 메모를 AI에 입력한 뒤 결과물을 사람이 고쳐 쓰더라도, 이 과정에서 필요한 검토와 판단을 피하기 쉬워진다고 설명했다.
AI가 만든 문장은 겉으로는 자연스럽지만 알아차리기 어려운 방식으로 모호하거나 틀릴 수 있다는 주장도 제시됐다. 분석은 클로드 페이블 5(Claude Fable 5)에 ‘AI 칩 밀수 문제를 소개하는 짧은 문단’을 작성하게 한 사례를 들었다. 모델은 2022년 10월 이후 미국의 대중국 첨단 AI 칩 수출 제한, 싱가포르·말레이시아·아랍에미리트(UAE)를 거치는 우회망, 위장회사와 허위 서류, 연간 수만개에서 10만개가 넘을 수 있는 고성능 칩 규모 등을 한 문단에 담았다. 그러나 이처럼 여러 세부사항이 매끄럽게 연결된 문장일수록 각각의 사실과 표현을 사람이 따로 확인해야 한다는 취지다.
AI 활용 범위는 글쓰기와 구분해야
분석은 AI 자체를 반대하는 입장은 아니라고 선을 그었다. 음성 기록 전사, 데이터 분석, 정보 검색, 아이디어 발상, 초안 피드백 등 연구와 집필 과정의 다른 업무에는 AI를 활용할 수 있다고 봤다. 문장 교정이나 문구를 더 명확하고 간결하게 고치는 작업도 사람이 수정 내용을 하나씩 채택하거나 거부한다면 허용할 수 있다고 했다. 반면 AI가 처음부터 실질적인 내용을 작성하도록 하는 행위는 별개의 문제라고 구분했다.
AI 글쓰기는 직접 쓰는 것보다 노력이 적게 들고 빠르다는 장점이 있지만, 분석은 그 편의성만으로 단점을 상쇄하기 어렵다고 평가했다. 글을 쓰면서 생각이 바뀌고, 연구가 부족했던 부분이나 주장의 허점을 발견하며, 주장할 수 있는 결론이 자신이 쓰고 싶은 결론보다 작다는 점을 확인할 수 있다는 이유에서다. AI에 개요를 넘기면 개요 자체가 잘못됐는지 멈춰서 검토하지 않을 가능성이 있다는 설명도 덧붙였다.
분석은 AI로 작성한 글을 표시하지 않는 행위가 독자에게 무례하고 오해를 불러일으킬 수 있다고도 주장했다. 다만 이는 현재와 가까운 미래에 존재할 것으로 예상되는 모델에 대한 판단이며, 언젠가 AI가 글쓰기뿐 아니라 연구와 사고 전반을 충분히 수행할 수 있는 모델이 등장할 가능성까지 부정한 것은 아니다. 그런 단계에 이르면 글쓰기만이 아니라 연구와 집필 전체를 AI에 맡기는 편이 더 자연스러울 수 있다는 전망을 제시했다.