[연구의 필요성]

 

대규모 언어모델(LLM)은 별도의 학습 없이도 프롬프트 안의 몇 가지 예시만으로 새로운 과제를 수행하는 In-Context Learning (ICL) 능력을 보인다.

그러나 ICL 기반 예측은 프롬프트 형식, 예시의 순서, 데이터 특성에 민감하게 달라지며, 모델이 주어진 컨텍스트를 실제로 얼마나 잘 이해했는지에 따라서도 신뢰성이 크게 좌우된다. 따라서 LLM의 예측 실패가 데이터 자체의 모호성에서 비롯된 것인지, 혹은 모델의 지식 및 표현 능력 부족에서 비롯된 것인지 구분하기 어렵다.

기존 불확실성 측정 방법들은 주로 일반적인 텍스트 생성 환경을 대상으로 설계되어 ICL 특유의 컨텍스트 의존성과 프롬프트 민감성을 충분히 반영하지 못했으며, ICL 환경에서 불확실성 분해가 제대로 이루어졌는지를 평가할 체계적인 기준도 부재했다. 이에 따라 ICL 기반 LLM 예측의 신뢰성을 높이기 위한 새로운 불확실성 분해 방법과 평가 체계가 필요하다.

 

[POSTECH 가진 고유의 기술]

 

본 연구는 ICL 상황에서 LLM의 예측 불확실성을 데이터 자체의 모호성에서 오는 불확실성(aleatoric uncertainty)과 모델의 지식·이해 부족에서 오는 불확실성(epistemic uncertainty)으로 분해하기 위해 self-function vector라는 새로운 방법을 제안하였다.

Self-function vector는 ICL 수행에 중요한 attention head의 내부 활성값을 활용해, 주어진 프롬프트가 모델 내부에서 어떤 잠재 개념으로 표현되는지를 포착하는 벡터이다. 이를 통해 출력 결과나 디코딩 변화에만 의존하던 기존 방법과 달리, 모델 내부 표현을 직접 활용하여 데이터 자체의 모호성에서 발생하는 불확실성을 보다 안정적으로 추정할 수 있다.

또한 연구진은 synthetic task와 WordNet 기반 multiple-choice question 데이터셋을 활용하여, aleatoric uncertainty와 epistemic uncertainty를 각각 통제하고 평가할 수 있는 ICL 특화 평가 프로토콜을 새롭게 제시하였다.

 

[연구의 의미]

 

본 연구는 LLM의 ICL 예측 신뢰성을 분석하기 위해 불확실성 정량화와 메커니스틱 해석가능성(mechanistic interpretability)을 연결했다는 점에서 의의가 크다.

특히 모델 내부의 task representation을 활용함으로써, 단순히 예측이 불확실하다는 사실을 넘어 그 불확실성이 데이터의 모호성 때문인지, 모델의 한계 때문인지를 구분할 수 있는 기반을 마련하였다. 실험 결과 제안 방법은 다양한 LLM과 데이터셋에서 기존 방법보다 안정적으로 불확실성을 분해했으며, 환각 탐지(hallucination detection)와 같은 신뢰성 중심 응용에서도 실용 가능성을 보였다. 이는 향후 안전하고 신뢰 가능한 생성형 AI 시스템 개발에 중요한 기반이 될 것으로 기대된다.  

 

[연구결과의 진행 상태 및 향후 계획]

 

본 연구는 자연어처리 분야 최고 권위의 국제 학술대회인 Annual Meeting of the Association for Computational Linguistics (ACL 2026)에 구두발표(oral presentation) 논문으로 채택되었다. (상위 약 3.98%; 483/12,148)

향후 연구에서는 self-function vector가 Bayesian posterior 구조를 어느 정도 반영하는지에 대한 이론적 분석을 강화하고, 모델별 하이퍼파라미터 조정 없이 다양한 LLM 아키텍처에 적용 가능한 일반화된 방법으로 확장하는 것을 목표로 한다.

 

[성과와 관련된 실적]

 

Jinseok Chung, Minkyoung Song*, Hyunji Jung*, Namhoon Lee. “Quantifying Aleatoric Uncertainty of In-Context Learning for Robust Measure of LLM Prediction Confidence”, Annual Meeting of the Association for Computational Linguistics (ACL), 2026.

 

[성과와 관련된 이미지]