챗GPT(ChatGPT)가 대학생의 과제 점수를 크게 높였지만 실제 학습 효과로 이어졌는지는 확인되지 않았다는 연구 결과가 나왔다. GPT-4o를 사용한 학생들은 경영학 과제에서 더 많은 아이디어와 논리적으로 정돈된 답변을 제시했지만, AI 없이 지식과 이해도를 입증하는 후속 시험은 진행되지 않았다.
더디코더(The Decoder)는 8월 30일 이 같은 내용의 무작위 실험 결과를 보도했다. 보코니대학(Bocconi University) 경영학 입문 강좌의 신입생 1053명이 실험에 참여했으며, 2025년 11월 13개 분반이 통제집단, 인과적 추론 수업 집단, GPT-4o 사용 집단, 두 개입을 모두 적용한 집단으로 나뉘었다. 학생들은 대학 기념품 매장을 위한 마케팅 제안을 180단어 이내로 작성했다.
GPT-4o를 쓴 학생들의 점수는 1~5점 기준으로 그렇지 않은 학생보다 거의 1점 높았다. 이들의 답변에는 평균 약 2개의 아이디어가 더 포함됐고, 논리적 일관성이 높았으며, 세 명의 분야 전문가가 제시한 권고와도 더 가까웠다. 연구진이 논증의 질, 아이디어 수와 다양성, 문장 특성 등을 통제한 뒤에도 GPT-4o 사용에 따른 점수 격차는 남았다. 연구진은 이를 학생 지식의 증가보다 AI를 통한 콘텐츠 품질 향상으로 해석했다.
인과적 추론 수업은 기존 방식의 점수를 높이지 못했고, 수업을 받은 학생들의 평균 점수는 오히려 조금 낮았다. 다만 이들은 제안한 행동이 왜 효과가 있을지, 어떤 조건에서 실패할 수 있을지를 더 자주 설명했고, 다른 학생들과 겹치지 않는 다양한 아이디어를 내놨다. 수업과 GPT-4o를 함께 적용해도 전통적인 점수에는 추가 상승 효과가 없었지만, 인과적 추론 관련 지표에서는 두 접근법이 서로 보완되는 양상이 나타났다.
아이디어가 많고 논리가 일관되며 한 답변 안에서 발상이 다양할수록 점수가 높았다. 반면 주장의 반증 가능성, 제안이 작동하는 방식에 대한 구체적 설명, 다른 학생 답변과의 차이는 점수와 반대 방향으로 연관됐다. 연구진은 이번 평가가 예상된 해법 범위 안에서 구조가 잘 잡히고 완성도 높은 답변을 주로 보상했기 때문이라고 설명했다. 독창성과 다양한 접근을 평가하려면 채점 기준에 이를 명시적으로 포함해야 한다는 것이다.
현재의 채점 체계는 문장 표현과 구조, 완성도는 측정하지만 학생이 실제로 무엇을 배우고 이해했는지는 충분히 측정하지 못한다. 더디코더는 이런 구조가 AI를 부정행위 도구로 사용하기 쉽게 만든다고 지적했다. 다만 이번 실험은 한 대학의 신입생들이 제한된 마케팅 과제를 수행한 경우에 한정됐고, 1053명 전체가 아니라 13개 분반 단위로 무작위 배정됐다. 주요 점수는 집단 정보를 모르는 사람이 매겼지만, 인과적 추론과 아이디어 다양성 등 일부 지표는 오픈AI(OpenAI)와 앤트로픽(Anthropic)의 모델로 평가됐다. 연구에는 오픈AI가 기술을 제공하고 관여했으며, 일부는 오픈AI 소속이거나 연구 당시 근무한 이력이 있다.
AI 사용이 학습을 돕는지 대체하는지가 성과를 가른다는 기존 연구와도 맥락이 이어진다. 미국 대학 성적 50만건 이상을 분석한 연구에서는 챗GPT 출시 이후 글쓰기와 프로그래밍, 숙제 비중이 큰 과목에서 높은 학점이 가장 많이 늘었고, AI를 거둔 뒤에는 통제집단보다 수행 결과가 나빠졌다. 중국 학생 2만6000명 이상을 30개월간 추적한 연구에서도 AI 사용으로 숙제는 빨라지고 좋아졌지만 시험 점수는 하락했으며, 장기적으로 후속 입학시험 성적이 18~24% 낮아졌다. 오픈AI는 이번 결과를 최종 결과물만으로는 이해도를 판단하기 어렵다는 채점 체계의 문제로 주로 규정했다. 연구 저자들은 독창성·추론·복수의 접근법을 반영한 결과물을 보상해야 한다고 주장했다. 채점 기준을 바꾸려면 교육 방식 전반의 조정이 필요하다는 지적도 나온다.