[연구의 필요성]

텍스트-이미지 생성 모델의 상용화가 확산됨에 따라, 저작권 침해나 윤리적으로 부적절한 콘텐츠 생성 등 다양한 사회적 문제가 발생하고 있다. 이를 해결하기 위해 최근 특정 개념(target concept)을 생성하지 못하게 하는 폐기학습(Unlearning) 기법이 제안되고 있으나, 기존의 평가 방법론은 이미지 품질과 목표 개념 (target concept) 제거의 충실성만을 평가하는 등 제한적인 평가에 머물러 있다. 따라서 현실적인 환경과 다양한 공격 상황 등을 고려한 포괄적이고 다면적인 평가를 할 수 있는 프레임워크가 필요하다.

 

[포스텍이 가진 고유의 기술]

본 연구에서 제안하는 Holistic Unlearning Benchmark(HUB)는 Unlearning 기법들의 성능을 다각도로 평가할 수 있는 종합적 벤치마크이다. HUB는 다음과 같은 6가지 평가 축을 정의하여 체계적인 평가를 제공한다. 1) 목표 개념 제거 충실성(Faithfulness), 2) 프롬프트와의 정합성(Alignment), 3) 유사 개념 영향 최소화 (Pinpoint-ness), 4) 다국어 프롬프트 강건성(Multilingual robustness), 5) 공격 강건성(Attack robustness), 6) 계산 효율성(Efficiency). 특히 각 평가 축에 특화된 세부 평가 방법과 대규모 프롬프트 데이터셋 (개념당 16,000개의 프롬프트)을 개발하여 기존 평가 방법과 차별화되는 벤치마크를 제안하였다.

 

[연구의 의미]

HUB는 다양한 Unlearning 방법론을 단순 비교하는 것을 넘어, 각 방법론의 장단점과 trade-off를 보다 정밀하게 진단할 수 있는 도구로 활용될 수 있다. 실제로 HUB를 활용한 실험을 통해, 모든 평가 기준에서 일관되게 우수한 기존 Unlearning 방법론은 없다는 사실을 확인하였다. 이러한 결과는 기존 Unlearning 방법론의 한계를 명확히 드러내며, 새로운 접근법 개발의 필요성을 강조한다. 또한 HUB의 평가 프레임워크와 데이터셋을 공개함으로써 향후 산업 및 학계에서 관련 연구와 개발이 더욱 활성화될 것으로 기대된다.

 

 

[연구결과의 진행 상태 및 향후 계획]

본 연구는 컴퓨터 비전 최우수 국제학술대회 중 하나인 ICCV 2025 (International Conference on Computer Vision)에서 포스터로 발표될 예정이다. 또한 지속적으로 최신 Unlearning 방법론 및 평가 지표를 반영하는 공개 리더보드를 운영하여 HUB가 지속적으로 업데이트되고 실질적으로 활용될 수 있도록 발전시킬 계획이다.

 

 

[성과와 관련된 실적]

Saemi Moon*, Minjong Lee*, Sangdon Park, Dongwoo Kim “Holistic Unlearning Benchmark: A Multi-Faceted Evaluation for Text-to-Image Diffusion Model Unlearning”, International Conference on Computer Vision (ICCV), 2025.