[연구의 필요성]

뇌 디코딩 (Brain Decoding)은 fMRI와 같은 뇌 영상 데이터를 활용하여 인간의 인지·지각 과정을 해석하고, 이를 통해 외부 자극(예: 이미지)을 재구성하는 기술로, 뇌과학과 인공지능 융합 연구에서 핵심적인 위치를 차지한다. 그러나 기존 방법은 개별 피험자별로 별도의 모델을 학습하는 구조를 사용하거나, 3D fMRI 데이터를 1D로 평탄화하여 공간 정보를 손실시키는 문제가 있다. 이러한 한계는 모델의 일반화 성능과 확장성을 저해하며, 특히 다수 피험자를 대상으로 하는 실제 활용에서 제약이 크다. 따라서 공간 구조를 보존하면서 피험자 간 변이를 극복할 수 있는 범용적이고 확장 가능한 뇌 디코딩 프레임워크의 개발이 필요하다.

 

[포스텍이 가진 고유의 기술]

본 연구에서 제안하는 MindLink는 피험자 불변 (subject-agnostic) 특성을 추출하면서 3D fMRI의 공간 구조를 유지하는 범용 뇌 디코딩 프레임워크이다.

(1) ROI 추출·제로패딩·패칭 과정을 통해 3D fMRI를 표준화된 정육면체 패치로 분할하고, 이를 3D 비전 트랜스포머에 입력하여 fMRI의 공간 정보를 보존한다.

(2) 도메인 적대적 학습 (domain adversarial training)을 적용하여 피험자 고유의 신경 패턴을 제거하고, 다양한 피험자 데이터로부터 공통 표현을 학습한다.

(3) fMRI와 이미지 임베딩 간의 간극을 메우기 위해 인스턴스 수준과 토큰 수준의 2단계 정렬 (two-level alignment) 전략을 제안한다. 인스턴스 수준에서는 fMRI 임베딩을 이미지 임베딩과 스케일과 방향을 동시에 정렬해 사전 학습된 확산 모델 (diffusion model)과의 호환성을 확보한다. 토큰 수준에서는 크로스 어텐션 (cross-attention)을 이용해 유연한 토큰 매칭을 수행함으로써 시각적 문맥을 반영한다.

 

[연구의 의미]

본 연구는 인간의 뇌 활동을 기반으로 외부 자극을 해석·재구성하는 뇌 디코딩 분야의 발전에 기여한다. 특히, 다양한 피험자의 데이터를 하나의 모델로 통합 처리할 수 있는 범용적 접근을 제시함으로써, 뇌과학과 인공지능 간의 융합 연구를 한층 가속화할 수 있다. 이러한 기술은 인지과학, 신경과학뿐만 아니라 뇌-기계 인터페이스 (BMI), 보조 의사소통 장치 등 다양한 영역으로 확장 가능하다.

 

[연구결과의 진행 상태 및 향후 계획]

본 연구는 의료 머신러닝 분야 최우수 국제학술대회인 Medical Image Computing and Computer Assisted Intervention (MICCAI 2025)에서 포스터로 발표되었다. 향후 계획으로는 대규모·다도메인 fMRI 데이터셋에 대한 확장 실험을 수행하고, 다양한 감각 자극(예: 청각·촉각) 복원으로의 연구를 추진할 것이다.

 

[성과와 관련된 실적]

Sungyoon Jung, Donghyun Lee, Won Hwa Kim, “MindLink: Subject-agnostic Cross-Subject Brain Decoding Framework”, Medical Image Computing and Computer Assisted Intervention (MICCAI), 2025.

 

[성과와 관련된 이미지]