언어 모델이 연구 시간을 줄여도 과학자들이 각 프로젝트에 더 깊이 몰입하기보다 더 많은 일을 덜 완성도 높게 처리할 수 있다는 이론 연구 결과가 나왔다. 프린스턴대와 워싱턴대 등이 참여한 경제학 연구를 더디코더(The Decoder)가 8월 23일 보도했다.
연구진은 언어 모델이 오류를 내지 않고 거의 비용 없이 연구 단계별 소요 시간을 줄인다고 가정했다. AI의 실제 약점을 배제하고 순수한 시간 절약 효과만 살피기 위해서다. 연구자들은 행동생태학의 최적 채집 이론을 바탕으로, 여러 연구 과제에 노동을 어떻게 배분하는지 수학적 모형을 만들었다.
모형에서 연구는 아이디어의 실행 가능성을 먼저 확인한 뒤 계속 진행할지 포기할지를 결정하는 두 단계로 나뉜다. 진행할 경우 그림 제작과 서식 지정, 논문 제출처럼 반드시 해야 하는 업무와 추가 실험, 심층 분석, 문장 다듬기처럼 선택적인 업무가 뒤따른다. 시간 압박이 커지면 연구자들이 줄이는 부분은 후자인 자율적 심화 작업이라는 게 연구진의 분석이다.
AI가 초기 아이디어 평가를 돕는 첫 번째 경우에는 새 연구를 시작하기 쉬워져 연구자들이 더 까다롭게 과제를 고른다. 유망한 과제만 남지만 각 과제에 투입하는 시간은 줄어들며, 이런 양상은 기술 분야에서 나타날 수 있다. 논문 작성·서식·분석을 빠르게 하는 두 번째 경우에는 완성까지 필요한 노력이 감소해 상대적으로 약한 연구도 추진할 가치가 생긴다. 논문 수는 늘지만 개별 논문의 깊이는 얕아진다. 반면 추가 실험과 정밀 분석 같은 심화 단계 자체를 단축하는 세 번째 경우에만 시간 절약이 연구의 충실도 향상으로 이어진다. 세 시나리오 중 두 경우에서 연구의 완성도가 떨어지는 셈이다.
연구진은 이를 ‘절약된 시간이 자동으로 깊이 있는 분석으로 전환된다’는 통념의 오류로 설명했다. 시간의 기회비용이 높아지면 이미 출판 가능한 논문을 더 다듬기보다 다음 과제를 시작하는 편이 유리해진다는 것이다. 오픈AI(OpenAI)의 과학 분야 사례 8건 보고서에서도 연구 소프트웨어 재작성 속도가 최대 60배 빨라졌지만 병목은 코딩에서 검증과 장기 유지보수로 옮겨갔다.
AI가 실제로 시간을 줄이지 않아도 연구자의 행동은 달라질 수 있다. METR 연구에서는 AI 도구를 쓴 숙련 오픈소스 개발자들이 작업을 실제로는 19% 더 오래 끝냈지만, 스스로는 24% 빨라졌다고 느꼈다. LLM이 글쓰기를 빠르게 하는 분야에서는 투고가 급증해 과부하 상태인 동료평가 체계에 부담을 주고 있다. 사카나AI(Sakana AI)의 ‘AI 사이언티스트-v2(AI Scientist-v2)’가 인용 오류가 포함된 완전 AI 생성 논문을 ICLR 워크숍에 통과시킨 뒤, 아카이브(arXiv)는 허위 출처나 AI 관련 문구를 남긴 투고에 1년 제출 금지 조치를 예고했다. 연구진은 AI 대응책도 일률적으로 마련하기보다 어느 연구 단계가 빨라지는지에 맞춰 설계해야 한다고 제안했다. 소프트웨어 개발에서 개인의 생산성 향상이 검토·유지보수 담당자에게 부담을 넘기는 ‘공유지의 비극’과 비슷한 현상이 연구에서도 나타날 수 있다는 설명이다.