[연구의 필요성]
 딥러닝은 지난 10여 년간 눈부신 성과를 거두었지만, End-to-End 신경망은 여전히 내부 작동 원리가 불투명해 의사결정 과정을 해석하기 어렵다는 한계를 지닌다. 이는 고차원적이고 복잡한 표현에 의존하기 때문으로, 사용자가 모델의 예측 근거를 명확히 파악하기 어렵게 만든다. 이러한 문제를 보완하기 위해 제안된 개념 병목 모델(Concept Bottleneck Model; CBM)은 최종 예측에 앞서 인간이 이해할 수 있는 개념(concept)을 추론하도록 설계되어 의사결정의 투명성을 확보한다. 그러나 CBM은 사람이 라벨링한 개념 주석(annotation)에 기반해 학습하기 때문에 필연적으로 주석 오류(노이즈)가 포함될 수 있으며, 이는 CBM의 핵심적인 해석가능성과 예측 성능을 동시에 저해하는 치명적 요인이 된다. 실제로 잘못된 개념 라벨은 모델 전반의 신뢰도를 떨어뜨릴 수 있음에도 불구하고, 이러한 노이즈 문제와 그 영향에 대한 체계적 연구는 지금까지 충분히 이루어지지 않았다.

 

[포스텍이 가진 고유의 기술]
 본 연구는 개념 라벨 노이즈가 CBM에 미치는 영향을 최초로 체계적이고 종합적으로 규명하였다. 분석 결과, 노이즈는 해석성, 개입(intervention) 효과, 최종 예측 성능을 동시에 심각하게 저해하며, 특히 일부 개념이 노이즈에 현저히 취약하여 전체 성능 저하의 핵심 원인으로 작용함을 확인하였다. 이러한 문제를 완화하기 위해 두 가지 접근을 새롭게 제안하였다. 첫째, 학습 단계에서는 Sharpness-Aware Minimization을 적용하여 노이즈에 민감한 개념에서도 안정적이고 견고한 표현 학습이 가능하도록 하였다. 둘째, 추론 단계에서는 불확실성 기반 개입 전략을 도입하여 엔트로피로 측정되는 높은 예측 불확실성을 보이는 개념을 우선적으로 교정함으로써 제한된 개입 자원으로도 전체 성능을 효과적으로 회복할 수 있도록 하였다. 두 전략 모두 이론적 분석을 토대로 설계되었으며, 다양한 데이터셋을 활용한 실험을 통해 실제적인 효과가 검증되었다.

 

[연구의 의미]
 본 연구는 CBM의 핵심 취약점인 개념 라벨 노이즈 문제를 최초로 심도 있게 다루며, 그 심각성을 체계적으로 규명하고 동시에 실질적인 해결책을 제시했다는 점에서 학술적 의의가 크다. 특히, 노이즈에 취약한 개념 집합(susceptible set)을 밝혀내고 이에 대한 이론적 분석과 실증적 검증을 수행함으로써 기존 연구에서 간과되었던 CBM의 한계를 보완하였다. 더 나아가, 학습과 추론 단계에 걸친 이중 전략을 제안하여 CBM의 신뢰성을 회복하는 동시에 실제 응용에서 해석가능성과 성능을 함께 확보할 수 있는 실용적 토대를 마련하였다. 이러한 성과는 향후 다양한 도메인에서 설명 가능한 인공지능(XAI)의 활용 범위를 확장하는 데 중요한 기반이 될 것으로 기대된다.

 

[연구결과의 진행 상태 및 향후 계획]
 본 연구는 머신러닝 분야 최고 권위의 국제 학술 대회인 Neural Information Processing Systems (NeurIPS 2025)에 논문으로 채택되어 포스터 형식으로 발표될 예정이다. 향후 연구에서는 보다 현실적인 노이즈 환경과 발전된 CBM 모델을 고려하여, 실제 적용 상황에서도 한층 강건하게 작동할 수 있는 방법을 고안하는 것을 목표로 한다.

 

[성과와 관련된 실적]
 Seonghwan Park, Jueun Mun, Donghyun Oh, Namhoon Lee. “An Analysis of Concept Bottleneck Models: Measuring, Understanding, and Mitigating the Impact of Noisy Annotations”, Neural Information Processing Systems (NeurIPS), 2025.

 

[성과와 관련된 이미지]