수학자 테런스 타오(Terence Tao)가 인공지능(AI)이 20세기 초 괴델의 등장 이후 수학계가 겪은 가장 큰 위기를 다시 불러올 수 있다고 경고했다. AI가 연구급 수학 과제의 상당 부분을 수행하게 될 경우 수학의 목표와 연구 관행 자체를 다시 정립해야 한다는 주장이다.
더디코더(The Decoder)는 8월 20일 타오가 2026년 국제수학자대회(International Congress of Mathematicians)를 위해 쓴 에세이에서 이같이 주장했다고 보도했다. 타오는 수학계가 AI로 무엇을 할 수 있는지를 놓고 논쟁하는 데 그치지 말고, 수학 연구의 목표가 무엇인지 답해야 한다고 썼다. 관점에 따라 수학은 황금시대에 진입했거나 심각한 위기에 놓였다는 것이다.
타오는 1900년부터 1930년 사이 러셀의 역설과 괴델의 불완전성 정리가 수학의 기초를 뒤흔든 사례를 들었다. 당시 수학자들은 암묵적으로 남겨둔 전제를 명시하면서 지금까지 한 세기 동안 유지된 엄밀한 체계를 세웠다. 현재 시험대에 오른 것은 수학적 진리 자체가 아니라 무엇을 연구 성과로 볼지, 무엇을 보상할지, 이해한다는 것이 무엇인지, 기계가 연구를 수행했다고 말할 수 있는지에 관한 ‘암묵적인 수학적 가치와 관행의 체계’라고 설명했다.
타오의 가설은 AI 도구가 머지않아 상당한 수준의 성공률과 품질, 감독, 비용 효율성을 갖추고 연구급 수학 과제의 합리적인 비율을 처리하게 된다는 것이다. 그는 근거로 퍼스트 프루프 프로젝트(First-Proof Project)를 제시했다. 통제된 조건에서 발표된 적 없는 연구 문제 10개를 AI 시스템 4개로 시험한 2차 실험에서 7개 문제는 최소 한 시스템으로부터 합격 평가를 받았다. 합격은 사실상 완벽하거나 소폭 수정만 필요한 풀이를 뜻하며, 문제당 비용은 수십달러에서 수백달러 수준이었다.
타오는 AI가 문제 해결, 이론 구축, 공동체 형성, 차세대 연구자 양성 등 서로 연결돼 있던 수학의 목표를 갈라놓을 수 있다고 봤다. 측정 지표가 목표가 되면 더는 좋은 지표가 될 수 없다는 굿하트의 법칙(Goodhart's law)도 언급했다. 생성형 AI가 실제 성과보다 좋은 결과물의 외관을 좇기 쉬운 데다, AI 산업의 금융 인센티브가 인용하기 쉽고 벤치마크로 측정하기 쉬운 성과를 부추긴다는 설명이다.
그 결과 수학계가 증명이 부족한 상태에서 증명이 넘쳐나는 상태로 이동할 수 있다고 타오는 경고했다. AI가 만든 증명이 사람이 확인하고 읽고 이해하는 속도보다 빠르게 쌓일 수 있다는 것이다. 에르되시 문제 데이터베이스에는 이미 인간 전문가가 검증하겠다고 나서지 않은 AI 생성 풀이가 수십 건 올라와 있다. 지나치게 다듬어진 AI 증명은 읽기 쉽지만 배우기는 어려울 수 있으며, 사람이 쓴 증명에 남는 수정 흔적과 설명의 마찰이 독자에게 유용한 단서가 될 수 있다고 지적했다.
타오는 2026년 6월 발표돼 국제수학연맹(International Mathematical Union)의 지지를 받은 인공지능과 수학에 관한 라이덴 선언(Leiden Declaration on Artificial Intelligence and Mathematics)을 실천 지침으로 제시했다. 결과를 정확하고 정당하게 설명하는 전문가 수준의 강연을 설득력 있게 하지 못한다면 논문을 출판해서는 안 되며, 인간이 제대로 설명할 수 없는 증명은 형식적으로 검증됐더라도 미완성으로 봐야 한다는 것이다. 젊은 수학자 교육에서는 AI 사용을 엄격히 제한해야 하며, 올바른 숙제 답안을 만드는 것만으로는 수학자 양성이라는 목표를 달성할 수 없다고 덧붙였다. 타오는 자신이 문헌 검색, 도식 제작, 문장 완성, 발표 자료의 논문 형식 변환에는 AI를 사용한다고 공개했다. 티머시 가워스(Timothy Gowers)와 피터 사나크(Peter Sarnak)도 대규모언어모델의 수학 능력을 인정했지만 새로운 아이디어를 내는 데는 한계가 있다고 평가했으며, 타오는 AI의 능력보다 수학이 궁극적으로 무엇을 추구하는지에 초점을 맞췄다.