이스라엘 바이츠만 과학연구소(Weizmann Institute of Science) 연구진이 fMRI 뇌 스캔으로 사람이 본 이미지를 재구성하고, 이미지에서 뇌 활동을 예측하는 AI 도구를 개발했다. MIT 테크놀로지 리뷰는 이 연구를 10월 1일 보도했다.
뇌 신호와 이미지 잇는 두 갈래 모델
연구를 이끈 미할 이라니(Michal Irani) 연구팀은 고해상도 fMRI 자료를 활용해 뇌 신호를 이미지로 바꾸는 ‘디코더’를 훈련했다. 참가자 8명이 스캐너 안에서 각각 약 9000장의 이미지를 본 자료가 기반이다. 디코더는 이미지의 색과 배치 등 구조를 예측하는 부분과, 바나나나 스포츠처럼 이미지에 담긴 내용을 예측하는 부분으로 나뉜다. 두 예측을 확산 모델에 넣어 실제로 본 이미지와 더 가까운 결과물을 생성한다.
연구팀은 뇌 스캔 자료가 부족한 문제를 보완하기 위해 이미지에서 뇌 활동을 예측하는 ‘인코더’도 훈련했다. 새 이미지가 주어지면 인코더가 그 이미지를 볼 때의 뇌 스캔을 추정하고, 디코더가 이를 다시 이미지로 복원하는 과정을 반복해 두 모델을 함께 개선했다. 학습 자료의 약 70%는 실제 참가자의 뇌 스캔과 짝지어진 적이 없는 이미지였다. 기존 fMRI 장비에서 활동 신호 하나로 잡히는 복셀은 약 3㎣로, 약 1만6000개의 뉴런을 포함할 수 있다. 연구팀은 복셀 크기가 약 1㎣인 고해상도 자료를 사용했다.
개인별 보정 시간 줄이고 윤리 우려도
연구팀은 여러 연구 자료를 결합해 사람마다 공통으로 반응하는 뇌 영역도 찾아냈다. 음식 이미지에 반응하는 영역과 스포츠 이미지에 반응하는 영역이 관찰됐다는 설명이다. ‘범용 뇌 인코더’는 새로운 사람의 뇌 스캔에도 적은 보정만으로 적용할 수 있다. 기존 방식은 새로운 참가자가 본 것을 예측하는 데 통상 약 40시간의 fMRI 자료를 요구한다. 이라니는 자신의 디코더에는 1시간의 자료만 필요하다고 말했다. 연구 결과는 지난달 뉴욕에서 열린 인지 계산 신경과학 학회에서 발표됐다.
이 방식은 신경과학 연구의 시간과 비용을 줄일 가능성이 있지만, 뇌의 내면 정보를 동의 없이 알아내는 데 쓰일 수 있다는 우려도 제기됐다. 연구에 참여하지 않은 캘리포니아대 샌타바버라의 신경과학자 토미 스프래그는 결과가 인상적이라면서도, 몰래 생각이나 심상 정보를 추출할 수 있다면 우려스럽다고 말했다. 브리티시컬럼비아대 신경윤리학자 주디 일스는 신경 질환 환자를 돕는 치료적 활용 가능성을 긍정적으로 평가했다. 이라니는 잠금증후군 환자의 의사소통 지원이나 꿈의 내용 재구성도 잠재적 활용 사례로 언급했지만, 현재 도구가 이를 구현했다는 뜻은 아니다. 모델은 완벽하지 않으며 실패 사례도 있다고 이라니는 밝혔다.