사람의 믿음과 의도 등 정신 상태를 반영하지 않는 월드 모델은 인간의 다음 행동을 제대로 예측하기 어렵다는 연구 결과가 나왔다. 더디코더는 8월 22일 관련 논문을 소개하며 물리적 상태만 모델링하는 기존 방식의 한계를 전했다.
새 논문은 소라(Sora), 제니(Genie) 3, JEPA, 마블(Marble) 등 기존 월드 모델이 사물과 위치, 움직임, 가림 같은 물리적 층위만 다룬다고 지적했다. 사람이 무엇을 믿고 원하는지, 어떤 행동을 사회적으로 적절하다고 보는지는 모델의 상태 공간에 포함되지 않는다는 것이다. 서비스 로봇과 의료 보조 시스템, 협업형 AI 에이전트에서는 이런 숨은 정신 상태가 행동을 좌우하기 때문에 물리 정보만으로는 충분하지 않다고 설명했다.
논문은 컵이 주인이 보지 못하는 사이 찬장으로 옮겨진 상황을 예로 들었다. 물리적 월드 모델은 컵이 찬장 안에 있는 장면을 정확히 그릴 수 있지만, 주인이 컵이 여전히 원래 자리에 있다고 믿는다는 점을 반영하지 못하면 주인이 취할 다음 행동을 틀리게 예측한다. 이에 따라 제안된 ‘정신적 월드 모델링’(Mental World Modeling·MWM)은 믿음, 주의, 목표, 의도, 감정, 규범, 사회적 관계를 변수로 추가했다.
MWM에서 대상 에이전트는 자기중심적이고 제한된 시야만 보지만, 월드 모델은 전체 상태를 유지한다. 모든 행동은 말하기·가리키기·잡기 같은 물리적 행위와 위로·기만·거절 같은 정신적 의도로 나뉘어 함께 처리된다. 같은 컵을 테이블 위로 미는 동작도 사과, 속임수, 배려 중 무엇인지에 따라 의미가 달라지며, 이를 구분하는 변수는 월드 모델에만 존재한다. 논문은 이 방식이 의식을 시뮬레이션한다고 주장하지 않고, 행동과 맥락에서 추론한 정신 상태를 가설로 다룬다고 밝혔다. 시스템은 불확실성을 표시하고 가정을 투명하게 남겨야 한다는 설명이다.
연구진은 추가 학습 없이 작동하는 모듈형 구현체 멘티스(MENTIS)도 만들었다. 장면을 분석하고 에이전트의 시점을 렌더링한 뒤, 가능한 응답을 물리적 요소와 정신적 요소로 나눠 각각의 상태 변화를 병렬 시뮬레이션한다. 이후 물리적 개연성, 정신적 일관성, 사회적 적절성을 기준으로 각 가지를 평가해 결정한다. 모든 단계는 기계가 읽을 수 있는 중간 결과를 기록해 오류가 발생한 과정을 추적할 수 있도록 했다.
평가용 데이터 세트 멘티-벤치(Menti-Bench)는 텍스트 설명 320개, 그림 이야기 100개, 소리·영상 자료 28개 등 총 448개 장면으로 구성됐다. 각 장면에는 6개의 응답 선택지와 정답 행동뿐 아니라 관련 정신·물리 상태를 기록한 사람의 기준 답안이 포함됐고, 78%는 2명 이상의 인물이 등장했다. 오픈AI(OpenAI) 모델 5개와 앤트로픽(Anthropic) 모델 3개를 시험한 결과, 직접 답변의 F1 점수는 63.3, 같은 질문에 6번 답한 뒤 최빈값을 고르는 방식은 77.9, MWM 전체 파이프라인은 87.9였다. 사람의 점수는 98.5였다. MWM을 적용한 GPT-4.1은 84.9로, 직접 답변과 반복 선택을 사용한 GPT-5.6-솔(Sol)의 83.6을 웃돌았다. 정신 채널을 제거하면 평균 12.1점, 물리 채널을 제거하면 16.5점, 두 상태 변화를 따로 예측하면 6.4점이 각각 하락했다. 대인관계 장면의 개선 폭은 26.4점으로, 사물 중심 장면의 14.0점보다 컸다.