보코니대 연구진과 오픈AI 경제연구팀이 챗GPT 사용과 비판적 사고 훈련이 학생 과제에 미치는 영향을 비교한 결과, 챗GPT는 답변의 품질·논리·아이디어 수를 높이고 인과적 추론 훈련은 아이디어의 독창성과 다양성을 높이는 것으로 나타났다.
오픈AI(OpenAI)는 8월 27일 블로그에서 이탈리아 보코니대 연구진과 함께 진행한 실험 결과를 공개했다. 연구에는 보코니대 1학년 학부생 1000명 이상이 참여해 대학 기념품 매장의 마케팅 방안을 제안하는 실제 비즈니스 과제를 수행했다. 학생들은 수업 시간대별로 무작위 배정돼 GPT-4o 기반 챗GPT 사용, 인과적 추론 훈련, 두 가지 모두, 어느 것도 제공받지 않는 네 집단으로 나뉘었다.
인과적 추론은 특정 해결책이 왜 효과가 있거나 실패할 수 있는지를 원인과 결과의 관계로 설명하는 비판적 사고의 한 형태다. 훈련은 AI 사용법과 관련 없이 게임과 사례, 질문, 피드백을 활용해 진행됐다. 제출물은 훈련받은 평가자들이 5점 척도로 채점했고, 연구진은 별도의 자동 텍스트 분석으로 아이디어의 수와 다양성, 인과적 추론의 흔적, 전문가 3명의 답변과의 유사도를 측정했다.
챗GPT를 사용할 수 있었던 학생들은 5점 만점 평가에서 거의 1점 높은 점수를 받았다. 답변에 더 많은 아이디어를 담았고 논리가 명확했으며, 전문가가 작성한 제안과도 더 비슷했다. AI가 초보 학생들의 결과물을 더 전문적으로 보이게 한 셈이다. 다만 학생들이 과제를 챗GPT에 통째로 맡긴 것은 아니며, 질문할 내용과 답변의 타당성을 판단하고 최종 제출물에 넣을 내용을 직접 선택해야 했다.
인과적 추론 훈련의 효과는 달랐다. 훈련을 받은 학생들은 자신의 아이디어가 왜 작동할 수 있고 언제 실패할 수 있는지를 더 분명하게 설명했지만, 인지도와 대학 매장 이용률을 높인다는 두 가지 마케팅 목표만 측정한 기존 평가 척도에서는 점수가 높아지지 않았다. 대신 텍스트 분석에서는 동료들의 답변과 비교해 더 폭넓고 서로 구별되는 아이디어를 낸 것으로 나타났다. 명확하고 구조화된 답변을 선호하는 전통적 채점 방식이 독창성을 놓칠 수 있다는 의미다.
두 가지를 모두 제공받은 학생들은 각 효과를 함께 보였다. 이들의 아이디어 다양성은 인과적 추론 훈련만 받은 학생들과 비슷했고, 평가 점수와 아이디어 수는 챗GPT 사용 집단과 유사했다. 동시에 논리적 일관성이 더 강했고, 설명을 찾고 가정을 질문하는 경향도 두드러졌다. 무작위 배정으로 챗GPT 접근, 사고 훈련, 두 요소의 결합 효과를 나눠 살핀 이번 실험은 AI가 학생 학습에 미치는 영향을 분석하는 연구에 자료를 보탰다.
연구 결과는 학교가 최종 답변의 완성도만으로 학생의 이해도를 판단하기 어려워질 수 있음을 보여준다. 챗GPT가 전문가처럼 다듬어진 답변을 쉽게 만들 수 있는 만큼 과제와 평가에는 독창성, 추론, 여러 접근법을 검토한 과정도 반영할 필요가 있다는 것이다. 오픈AI는 챗GPT가 답변을 더 낫게 만드는 역할을, 비판적 사고 훈련이 아이디어의 폭을 넓히는 역할을 한다며 두 요소가 미래 학습을 준비하는 데 상호보완적이라고 설명했다.