[연구의 필요성]
 멀티모달 정보가 지속적으로 변하는 현실 환경에서 LVLM은 시시각각 바뀌는 시각·언어 지식을 동시에 갱신해야 한다. 그러나 기존 편집 연구·벤치마크는 대개 단일 모달(특히 시각)만을 다루거나 단발성(single) 편집에 그쳐, 연속적 업데이트 과정에서의 상호 간섭·망각, 그리고 편집된 사실들을 조합해 추론하는 능력을 평가·개선하기에 한계가 있었다. 이에 따라 시각·텍스트 편집을 교차적으로 수행하고, 연속 편집(continual) 및 합성(compositional) 질의 상황을 포괄적으로 다루는 문제 정식화와 벤치마크가 필요한 상황이다.

 

[포스텍이 가진 고유의 기술]
 본 연구는 (1) CCKE (Continual & Compositional Knowledge Editing) 문제 정식화를 제시하고, (2) 이를 평가하는 CCKEB 벤치마크와 CompRel (Compositional Reliability) 지표를 도입하며, (3) 외부 검색 기반 편집(메모리)과 내부 파라미터 편집을 결합한 MemEIC 프레임워크를 제안한다. 구체적으로, 질의 분해 모듈을 통해 질의를 시각/텍스트 부분으로 분리하고, 이중 외부 메모리(Mem-E)로 이미지·텍스트 단서 모두를 활용해 저장된 예시를 검색한다. 내부 편집은 이중 LoRA 어댑터(Mem-I) 로 시각·텍스트 표현 공간을 분리해 교차 간섭과 표현 붕괴를 억제한다. 더 나아가, 양 어댑터가 동시에 필요한 경우에만 작동하는 지식 커넥터(Knowledge Connector)를 도입해 모달 간 정보를 선택적으로 융합, 합성 추론을 안정화한다. 이러한 외·내부 메모리의 역할분담(정보 분해) + 합성(Compositional) 질의를 이어주는 지식 커넥터(정보 합성)라는 설계가 본 연구의 핵심 기술적 차별점이다.

 

[연구의 의미]
 제안한 CCKEB/CompRel은 기존 벤치마크가 다루지 못한 연속·합성 편집 상황을 포괄하며, 실제 운영 환경에서 요구되는 순차적 지식 편집과 합성 질의 처리 능력을 처음으로 체계적으로 측정하는 기준을 마련한다. 방법론적으로 MemEIC는 외부 근거에 기반한 안정적 편집과 내부 파라미터에 의한 내재화를 조화시켜, 모달 별 전용 어댑터와 커넥터를 통해 표현 간섭과 편집 망각을 동시에 줄인다. 이로써 모델은 시각·언어 편집이 교차·누적되는 상황에서도 편집 지식을 정확히 보존하고, 두 편집을 유기적으로 결합한 합성 추론을 일관되게 수행할 수 있음을 보여준다. 결과적으로 본 연구는 멀티모달 지식 편집에서 지속성·국소성·합성성을 함께 달성하기 위한 실증적·설계적 기준을 제시하며, 실제 환경에서의 신뢰 가능한 지식 업데이트 파이프라인 구축에 기여한다.

 

[연구결과의 진행 상태 및 향후 계획]
 본 연구는 인공지능 분야 최우수 국제학술대회인 The Thirty-Ninth Annual Conference on Neural Information Processing Systems(NeurIPS 2025)에 채택되어, 포스터 세션을 통해 발표될 예정이다. 향후에는 (1) 더 다양한 LVLM 백본 모델으로의 확장, (2) 질의 분해의 경량화, (3) 외부 메모리 검색의 강건성 강화 등의 방향으로 연구를 더욱 확장해나갈 계획이다.

 

[성과와 관련된 실적]
 Jin Seong, Jiyun Park, Wencke Liermann, Hongseok Choi, Yoonji Nam, Hyun Kim, Soojong Lim, Namhoon Lee. “MemEIC: A Step Toward Continual and Compositional Knowledge Editing”, The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS), 2025

 

[성과와 관련된 이미지]