[연구의 필요성]

• 기존의 텍스트 기반 인지행동치료(CBT) 모델은 내담자의 저항(resistance)에 효과적으로 대응하지 못한다는 한계가 있다. 저항은 CBT와 같은 상담치료 과정에서 흔히 발생하는 중요한 도전 과제로, 내담자가 변화를 거부하거나 방어적인 태도를 보이는 현상이다. 이러한 저항은 종종 얼굴 표정, 한숨, 몸짓과 같은 비언어적 단서로 표현되는데, 텍스트 기반 모델은 이를 인식하지 못해 조기 문제 해결에만 치중하거나 공감적 반응을 놓칠 수 있다. 그 결과 조기 문제 해결에 치중하거나 공감적 반응을 놓쳐 치료적 동맹(therapeutic alliance)이 약화되고, 궁극적으로 치료 효과가 저하된다. 따라서 실제 상담 맥락을 반영하고 내담자의 저항을 정밀하게 탐지·관리하기 위해, 언어와 비언어 정보를 함께 통합하는 다중모달(multimodal) 접근의 필요성이 제기된다.

 

[포스텍이 가진 고유의 기술]

• 본 연구에서는 MIRROR (Multimodal Interactive Rolling with Resistance)라는 새로운 합성 데이터셋을 구축하였다. 이 데이터셋은 내담자 발화와 해당 발화에 대응하는 얼굴 표정을 쌍으로 제공하며, 인지적·정서적·행동적 저항을 포함한 다양한 유형의 저항을 시뮬레이션한다. 이를 위해 (1) 텍스트 기반 CBT 데이터를 기반으로 한 상담 대본(screenplay) 생성, (2) GPT 기반 모델을 활용한 감정적 동작 지시문 (stage direction) 부여, (3) 얼굴 이미지 합성을 통한 표정 생성 과정을 결합하였다. 또한 Emotional Captioning 모듈을 도입하여, 모델이 내담자의 표정에서 감정 상태를 추출하고 이를 상담 반응에 반영하도록 하였다. 이를 통해 모델은단순한 텍스트 대응을 넘어, 비언어적 단서를 고려한 공감적이고 맥락적으로 적합한 대응을 생성할 수 있다.

 

[연구의 의미]

• MIRROR는 저항 상황을 다루는 최초의 다중모달 CBT 데이터셋이라는 점에서 학문적·실용적 의의가 크다. 기존 연구들이 대체로 텍스트 기반 상담이나 단일 이미지 수준의 감정 인식에 머물렀던 것과 달리, 본 연구는 턴 단위로 얼굴 표정을 동반한 대화를 제공하여 실제 상담의 동적인 감정 변화를 반영했다. 또한, 모델 평가 결과 MIRROR로 학습한 VLM 기반 상담사는 기존 텍스트 모델 대비 내담자와의 협력(collaboration), 정서적 유대(affective bond), 저항 관리 능력에서 우수한 성과를 보였다. 이는 AI 상담사가 상담 과정에서 저항을 효과적으로 다루고, 내담자와의 신뢰 관계를 형성하는 데 기여할 수 있음을 시사한다.

 

[연구결과의 진행 상태 및 향후 계획]

• 본 연구는 EMNLP 2025에서 발표될 예정이며, MIRROR 데이터셋과 코드도 함께 공개될 계획이다. 앞으로는 얼굴 표정과 발화를 넘어 음성, 몸짓 등 다양한 비언어적 신호를 포함하고, 단일 세션을 넘어 다중 세션 상담 데이터로 확장함으로써 장기적인 상담 관계와 더 깊은 인지 재구조화를 반영할 수 있는 AI 상담사 모델 개발을 지향한다. 

 

[성과와 관련된 실적]

EMNLP 2025 Main Accept/ 김수빈, 김훈래, 이지현, 전예진, 이근배 / Mirror: Multimodal Cognitive Reframing Therapy for Rolling with Resistance

 

[성과와 관련된 이미지]