AI 모델이 공간추론과 미세하게 변형된 논리 퍼즐에서 여전히 약점을 보인다는 분석이 나왔다. 퍼즐을 풀 때 인간과 AI가 어디서 성공하고 실패하는지를 비교하면 현행 AI의 강점과 한계를 가늠할 수 있다는 내용이다.
MIT 테크놀로지 리뷰(MIT Technology Review)는 8월 26일 AI 개발 초기부터 체스·바둑·퍼즐이 모델의 능력을 시험하는 도구로 쓰였다고 전했다. 1959년 IBM 컴퓨터과학자 아서 새뮤얼이 체커를 학습하는 알고리즘을 소개한 논문에서 ‘머신러닝’이라는 용어가 널리 알려졌고, 최근에는 퍼즐 해결 능력도 빠르게 향상됐다는 설명이다.
컬럼비아대 연구진은 2024년 말 당시 최고 성능 모델들이 뉴욕타임스(New York Times)의 ‘커넥션스(Connections)’ 퍼즐을 18%만 풀 수 있다는 결과를 제시했다. 그러나 2025년 초에는 일부 모델이 이 퍼즐을 거의 매번 완벽하게 해결했다. 다만 고전 수수께끼의 표현을 조금 바꾸거나 시각적 정보를 활용해야 하는 문제에서는 여전히 실수가 잦았다.
특히 공간추론은 인간이 크게 앞서는 영역으로 꼽혔다. 정신적 회전 문제처럼 물체를 다른 각도에서 본 모습이 같은 대상인지 판단하는 과제에서 언어모델은 시각 입력을 분석할 수 있어도 3차원 물체를 건축가나 기계공학자처럼 머릿속에서 조작하지 못했다. 물리적 환경을 이해하는 ‘월드 모델’이 발전하더라도 대형언어모델(LLM)의 공간적 사고 능력에는 한계가 남아 있다는 것이다.
기억력이 뛰어난 모델의 강점이 오히려 약점이 되는 경우도 있다. 구글(Google)과 일리노이대 어배너-섐페인 연구진은 2024년 ‘Knights and Knaves’ 유형의 논리 퍼즐을 조금씩 바꿔 모델을 학습·평가했다. 진실만 말하는 인물과 거짓말만 하는 인물을 구별하는 문제에서 모델은 학습 때 본 문제와 비슷한 유형을 만나면 차이를 놓치고 기억한 답을 내놓기 쉬웠다. 복잡한 문제와 닮은 문항으로 구성된 SimpleBench에서도 인간은 함정을 알아채지만 최상위 모델은 틀리는 사례가 나타났다.
2차원 시각·추상 추론도 취약점으로 지적됐다. 대표적 퍼즐 벤치마크인 ARC-AGI에서 모델은 색깔 격자를 이미지로 볼 때보다 각 칸의 색을 숫자 문자열로 바꿔 입력받을 때 성능이 나아졌다. 정답을 맞히더라도 인간처럼 단순하고 일반화 가능한 시각 규칙을 찾기보다 복잡하고 다른 문제에는 적용하기 어려운 규칙을 사용하는 경우가 많았다. 반대로 인간이 직관에 이끌려 성급하게 답하는 수학 문제나 문장형 함정에서는 모델이 더 신중하게 답할 때도 있었다.
문제의 복잡도가 커지면 규모에 따른 한계도 드러났다. 애플(Apple) 연구진의 한 연구에서 LLM은 원판을 한 번에 하나씩 옮기되 큰 원판을 작은 원판 위에 놓지 않아야 하는 ‘하노이의 탑’과 강 건너기 퍼즐의 단순한 버전은 잘 풀었다. 하지만 원판이나 사람이 6개 이상으로 늘어나자 답을 내는 데 어려움을 보였다. 퍼즐은 AI가 인간보다 앞선 영역과 아직 인간의 사고가 우세한 영역을 동시에 보여주는 시험대라는 분석이다.