[연구의 필요성]

거대 언어 모델(LLM)의 추론 능력은 다양한 문제 해결 과제에서 주요한 주제로 최근 활발히 연구되고 있습니다. 특히 복잡한 탐색 과정을 요구하는 고난이도 과제에서는 여러 추론 경로를 탐색하는 트리 기반 기법들이 성능 향상에 효과적인 방식으로 제안되고 있습니다. 그러나 기존 트리 탐색 기반 방법론에는 두 가지 주요한 비효율성이 존재합니다. 첫째, 문제 난이도를 고려하지 않고 모든 입력에 일괄적으로 복잡한 탐색을 수행해 계산 자원이 과도하게 소모됩니다. 둘째, 탐색 과정에서 의미적으로 동일한 경로가 반복 생성되어 중복된 연산이 발생합니다. 이러한 비효율성은 실제 응용에서 시간 지연과 높은 연산 비용은 물론, 경우에 따라 추론 정확도 저하로도 이어질 수 있어, 복잡한 탐색이 실제로 필요한지를 판별하고 필요한 경우에만 효율적으로 수행할 수 있는 방법이 요구됩니다.

 

[포스텍이 가진 고유의 기술]

본 연구에서는 Semantic Exploration with Adaptive Gating (SEAG)를 제안합니다. Adaptive gating은 비교적 단순한 추론 방법으로 얻은 응답의 엔트로피를 계산하여 트리 탐색의 필요 여부를 동적으로 판단합니다. 이를 통해 쉬운 문제는 간단한 방식으로 해결하고, 어려운 문제에 대해서만 복잡한 탐색을 수행합니다. 엔트로피가 높은 어려운 문제에 대해서는, Semantic exploration이 각 추론 단계에서 LLM이 생성한 다양한 하위 노드를 의미적으로 군집화함으로써 중복 경로 생성을 방지합니다. 구체적으로는 자연어 추론 기반 모델을 활용해 문장의 양방향 함의를 분류하여 의미상 동일한 노드를 식별하고 군집화함으로써, 추론 트리의 중복을 줄이고 탐색 효율을 극대화합니다.

 

[연구의 의미]

SEAG는 단순한 선형 추론 방법과 고비용 트리 기반 추론 사이의 균형을 효과적으로 달성한 방법론입니다. 다양한 언어 모델을 기반으로 여러 벤치마크에서 기존 트리 탐색 기반 방식보다 높은 정확도를 달성하면서도 계산 비용을 절감했습니다. 특히 의미 기반 군집화 기법을 통해 트리 탐색 시 생성되는 노드 수를 평균 20~60% 감소시키는 데 성공했습니다. 이처럼 SEAG는 의미적 중복 제거를 통해 계산 효율을 높이고, LLM 기반 문제 해결의 성능과 실제 적용 가능성을 함께 향상시켰다는 점에서 의의가 있습니다.

 

[연구결과의 진행 상태 및 향후 계획]

본 연구는 자연어 처리 분야 최우수 학술대회 중 하나인 The 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025)에 채택되어, 구두 발표 세션에서 발표될 예정입니다. 추후 계획으로는, 문제 해결 컨텍스트를 더 깊이 이해하는 의미 기반 군집화 기법을 탐구하여, 보다 효율적이면서도 효과적인 방법을 지속적으로 연구할 계획입니다.

 

[성과와 관련된 실적]

Sungjae Lee*, Hyejin Park*, Jaechang Kim, and Jungseul Ok, “Semantic Exploration with Adaptive Gating for Efficient Problem Solving with Language Models”, ACL 2025 (main, long, oral <8% of accepted)

 

[성과와 관련된 이미지]