[연구의 필요성]

최근 대규모 인공지능 모델의 활용이 증가함에 따라, 제한된 자원 하에서 모델을 효율적으로 구동할 수 있는 모델 압축 기법의 중요성이 부각되고 있다. 특히 가지치기(pruning)는 모델의 파라미터를 대거 제거함으로써 메모리와 연산량을 동시에 절감할 수 있어 주요한 방법으로 주목받고 있다. 그러나 높은 압축률에서는 성능 저하가 불가피한 경우가 많아, 이를 완화하는 방법의 개발이 핵심 과제로 남아 있다. 

 

[포스텍이 가진 고유의 기술]

본 연구는 제약 최적화 기법을 토대로, 평탄한 손실 지형 위의 희박한 모델을 효과적으로 탐색하는 최적화 알고리즘을 제안한다. 이는 손실 함수의 첨예도(sharpness)를 낮추는 것이 일반화 성능 향상과 밀접한 관련이 있다는 기존 연구에 기반한 것으로, 특히, 평탄성 유도를 목표로 한 희박성 제약 최적화 문제를 설정하고, 이를 교차방향승수법(ADMM)과 첨예도 인식 최소화 전략을 결합하여 SAFE (Sparsification via ADMM with Flatness Enforcement) 알고리즘을 설계하였다. 특히, 이 과정에서 유도되는 파라미터 크기 기반 사영 방식이 가지는 성능 상의 제약을 극복하고자, 유클리드 거리를 일반화한 이차식 거리 개념을 도입함으로써 다양한 중요도 점수를 유연하게 반영할 수 있는 SAFE+를 추가로 제안하였다.

 

[연구의 의미]

본 연구는 성능 저하를 최소화하며 모델 희박화를 달성하려는 압축 연구의 주요 과제에 대해, 기존 연구에서 밝혀진 평탄도의 중요성에 착안한 새로운 접근을 제시하였다. 제약 최적화 기반의 희박화 및 평탄화 기법을 통해 설계하고 알고리즘의 수렴성을 이론적으로 분석하였다. 실험적으로는 다양한 도메인에서의 적용 가능성과 노이즈에 대한 강건한 성능을 확보할 수 있음을 보였다. 이는 대규모 모델이 보편화되는 상황에서, 모델 경량화에 기여할 수 있는 효과적이자 이론적으로 분석된 방안을 새로 제시하였다는 점에서 학술적·실용적 의의가 크다.

 

[연구결과의 진행 상태 및 향후 계획]

본 연구는 인공지능 분야 최우수 국제 학술 대회인 International Conference on Machine Learning (ICML 2025)에서 spotlight 논문으로 채택되어 발표될 예정이다. 향후 연구에서는 이를 더욱 대규모 학습 환경에도 효율적으로 사용 가능할 수 있도록 알고리즘을 개선하고, 알고리즘에 대한 이론적인 분석을 확장하는 것을 목표로 한다.

 

[성과와 관련된 실적]

Dongyeop Lee, Kwanhee Lee, Jinseok Chung, and Namhoon Lee. “SAFE: Finding Sparse and Flat Minima to Improve Pruning”, International Conference on Machine Learning (ICML), 2025.

 

[성과와 관련된 이미지]