[연구의 필요성]

Segment Anything Model (SAM)은 대규모 데이터로 학습되어 뛰어난 범용 분할 능력을 보여주지만, 노이즈, 블러, 안개, 비, 저조도 등 악조건 환경에서는 성능이 급격히 저하되는 한계를 갖는다. 이러한 악조건은 자율주행, 로봇 비전, 감시 시스템 등 실제 응용 환경에서 빈번하게 발생하므로, SAM의 실용적 활용을 위해서는 다양한 환경 조건에 대한 강건성 확보가 필수적이다. 기존의 이미지 복원 모듈을 SAM 앞단에 부착하는 방식은 계산 오버헤드가 크고, 세그멘테이션 성능 향상이 아닌 이미지 품질 개선에 최적화되어 있어 차선의 결과를 야기한다. SAM 전체를 파인튜닝하는 방식은 막대한 계산 자원을 요구하며 제로샷 일반화 능력을 저하시킨다. 또한 최근 연구는 clean-degraded 이미지 쌍을 요구하여 실제 환경의 열화에 학습하기 어렵고, 다양한 열화에 불변한 표현을 학습하므로 입력의 특정 열화에 적응하는 데 한계를 갖는다. 이에 따라 SAM의 일반화 능력을 유지하면서도 다양한 열화 조건에 유연하게 적응할 수 있는 새로운 접근법의 필요성이 대두되었다.

 

[포스텍이 가진 고유의 기술]

본 연구에서는 입력 이미지의 열화 특성에 따라 모델의 적응 강도를 동적으로 조절하는 Gated-Rank Adaptation(GaRA) 기법을 제안하였다. 제안한 방법은 파라미터 효율적 적응 기법인 LoRA(Low-Rank Adaptation)를 기반으로 하되, LoRA의 가중치 행렬을 여러 개의 기본 구성요소(rank-1 컴포넌트)로 분해하고, 학습된 게이팅 모듈을 통해 입력에 따라 적절한 구성요소들만 선택적으로 활성화한다. 이를 위해 계층적 게이팅 전략을 도입하였는데, 먼저 입력의 열화 정도에 따라 낮은 적응 강도가 필요한 공간과 높은 적응 강도가 필요한 공간 중 하나를 선택하고, 선택된 공간 내에서 개별 구성요소들의 활성화 여부를 세밀하게 결정한다. 이러한 설계를 통해 입력 특성에 따라 적응을 적용하며 SAM 본연의 일반화 능력을 최대한 보존한다. 또한 깨끗한 참조 이미지 없이도 열화된 이미지만으로 학습이 가능하여, 실제 환경에서 수집된 데이터를 직접 활용할 수 있다.

 

[연구의 의미]

본 연구는 대규모 사전학습 모델의 강건성을 입력 적응형으로 향상시키는 새로운 패러다임을 제시했다는 점에서 중요한 의의를 갖는다. 특히, LoRA의 최적 랭크가 열화 유형뿐 아니라 개별 이미지에 따라서도 크게 달라진다는 실증적 분석을 통해 입력별 맞춤 적응의 필요성을 규명하고, 이를 해결하는 GaRA를 제안하였다. 제안한 GaRA-SAM은 합성 열화 및 실제 열화 벤치마크 전반에서 기존 방법들을 능가하는 성능을 달성하였으며, 특히 실제 악천후 주행 환경 데이터셋인 ACDC에서 기존 최고 성능 대비 21.3%p의 큰 폭의 IoU 향상을 보였다. 이는 자율주행, 로봇 비전, 감시 시스템 등 실환경에서의 강건한 시각 인식이 요구되는 분야에 중요한 기술적 토대를 제공한다.

 

[연구결과의 진행 상태 및 향후 계획]

본 연구는 컴퓨터 비전 분야 최우수 국제학술대회 NeurIPS 2025에서 포스터로 발표되었다. 향후 비디오 세그멘테이션으로의 확장 연구를 진행 중이다.

 

[성과와 관련된 실적]

 

Sohyun Lee, Yeho Gwon, Lukas Hoyer, Suha Kwak, “GaRA-SAM: Robustifying Segment Anything Model with Gated-Rank Adaptation”, Neural Information Processing Systems (NeurIPS), 2025.

 

[성과와 관련된 이미지]