이스라엘 와이즈만과학연구소 연구진이 기능성 자기공명영상(fMRI)으로 측정한 뇌 활동을 분석해 사람이 보고 있는 장면을 이미지로 재구성하고, 특정 이미지를 봤을 때의 뇌 영상도 예측하는 AI 모델 ‘브레인-IT’를 개발했다. IT 전문매체 씨넷은 10월 9일 이 연구를 소개하며 뇌 활동에서 시각 정보를 복원하는 기술이라고 보도했다.
뇌 활동으로 장면 재구성
브레인-IT는 기능성 자기공명영상에서 혈류와 산소량 변화를 측정해 얻은 뇌 활동 데이터를 분석한다. 연구진은 공개 데이터세트인 ‘내추럴 신스 데이터세트’에 담긴 뇌 영상 수천 건을 활용해 모델을 학습시켰다. 데이터는 8명의 자원자가 자기공명영상 촬영 중 특정 이미지를 바라보며 얻은 것이다. 연구진은 이를 통해 장면을 볼 때 뇌 활동에 나타나는 패턴을 모델이 학습하도록 했다.
모델은 뇌의 여러 영역에서 관찰되는 반응을 바탕으로 시각 정보를 추정한다. 연구진은 뇌 영상에서 기능적으로 구분되는 영역 128개를 확인했으며, 음식이나 스포츠 장면을 볼 때 각각 다른 영역이 활성화되는 사례를 들었다. 이런 패턴을 종합해 촬영 대상자가 무엇을 보고 있었는지 추정한다. 반대로 특정 이미지를 제시했을 때 나타날 뇌 영상의 형태를 예측하는 기능도 갖췄다. 연구 내용은 깃허브(GitHub)에 공개됐으며, 연구진은 올해 초 열린 학술대회에서 관련 논문을 발표했다.
‘마음 읽기’와는 달라…실험실 단계
연구를 이끈 미할 이라니(Michal Irani) 와이즈만과학연구소 교수는 기존 AI 모델도 뇌 활동을 이미지로 바꾸지만, 장면의 전반적인 분위기를 재현하는 데 그치고 구도나 색상 같은 기본 요소에서 오류가 있었다고 설명했다. 이라니 교수는 성명에서 브레인-IT가 이미지의 내용과 세부 사항을 모두 복원하는 데 기존 모델보다 뛰어나다고 말했다. 새 피험자의 fMRI 데이터가 1시간만 있어도 다른 방법이 40시간의 기록으로 얻는 수준의 결과를 낼 수 있다는 게 연구진의 설명이다.
이 기술은 현재 fMRI 뇌 영상에 의존한다. 촬영에 시간이 걸리고, 검사 대상자가 자기공명영상 장비 안에 들어가야 하는 만큼 일상에서 쉽게 쓰기는 어렵다. 다만 부상이나 장애 등으로 의사소통이 어려운 사람이 의사를 전달하도록 돕는 의료 목적에 활용될 가능성이 제시됐다. 연구진은 더 간편한 뇌파검사(EEG) 장비로도 비슷한 결과를 낼 수 있는지 살펴보고 있다. 이는 아직 검토 중인 연구 방향이다.
브레인-IT가 생각이나 기억, 언어를 직접 포착하는 것은 아니다. 뇌 활동을 토대로 그 사람이 보고 있던 장면을 재구성하는 방식이어서 ‘마음 읽기’라는 표현은 기술의 실제 기능과 다르다. 이라니 교수도 MIT 테크놀로지 리뷰(MIT Technology Review)와의 인터뷰에서 ‘마음 읽기’는 눈길을 끄는 이름일 뿐이라고 말했다. 연구진은 시각 정보뿐 아니라 청각 정보에서도 비슷한 결과를 얻을 수 있을지 살펴볼 계획이다. 꿈의 내용을 복원하는 가능성도 언급됐지만, fMRI 촬영이 약 2분 걸리는 동안 영상에서는 초당 수십 장면이 바뀌는 문제를 해결해야 한다고 이라니 교수는 설명했다.