1. [연구의 필요성]

최근 대규모 언어 모델(LLM)이 법률 분야에서도 탁월한 성능을 보이고 있지만, 여전히 한계가 존재한다. 기존의 법률 벤치마크들은 대부분 객관식이나 이진 분류에 치중되어 있어, 여러 법 조항을 종합적으로 추론해야 하는 개방형 질문에 대한 LLM의 능력을 제대로 평가하지 못한다. 특히, 법률 분야에서는 부정확하거나 허위적인 정보가 심각한 결과를 초래할 수 있으므로, 답변의 정확성과 근거 조항에 대한 신뢰성 확보가 매우 중요하다. 이러한 문제를 해결하기 위해서는 법 조항에 기반한 심층적인 다단계 추론 능력을 평가할 수 있는 새로운 벤치마크와 방법론이 필요하다.

 

1. [포스텍이 가진 고유의 기술]

우리 연구팀은 법률 AI의 한계를 극복하기 위해 새로운 한국어 법률 질의응답 벤치마크를 개발했고, 이에 대응하는 방법론 또한 연구했다.

• - KoBLEX 벤치마크: 법률 전문가와 LLM이 협력하여 구축한 한국 법률 질의응답 벤치마크이며, 다수의 법 조항을 연결해 추론해야 하는 226개의 시나리오 기반 질문과 정답, 그리고 관련 법 조항으로 구성되어 있다. 특히, 기존 벤치마크와 달리 정답의 근거가 되는 법 조항을 명확히 제시해야하는 과제에 초점을 맞추고 있다.
• - ParSeR 방법론: 복잡한 법률 질문에 대한 관련 법 조항을 효과적으로 검색하는 새로운 방법론이며, LLM의 내재된 지식을 활용하여 '매개변수적 법 조항(parametric provisions)'을 생성하고, 이를 검색 쿼리로 사용해 실제 법 조항 코퍼스에서 가장 관련성 높은 조항을 찾아낸다. 이후 3단계(검색-재순위화-선택) 검색 과정을 통해 신뢰할 수 있는 법적 근거를 확보하고, 이를 바탕으로 정확한 답변을 생성한다.

 

1. [연구의 의미]

KoBLEX benchmark는 LLM이 법 조항에 근거하여 논리적이고 정확한 답변을 생성하는 능력을 평가하는 새로운 표준을 제시한다. 또한, ParSeR는 다단계 추론이 필요한 복잡한 법률 문제에 대해 기존 방법론보다 훨씬 뛰어난 성능을 보인다. 이는 법률 AI 연구의 새로운 방향성을 제시하는 데 크게 기여할 것이다.

 

1. [연구결과의 진행 상태 및 향후 계획]

현재 코드 및 데이터셋의 공개가 완료되었으며, 추후 질의응답 시스템을 더 개선할 예정이다.

 

1. [성과와 관련된 실적]

Jihyung Lee*, DaeHee Kim*, Seonjeong Hwang, Hyounghun Kim, Gary Lee/ KOBLEX: Open Legal Question Answering with Multi-hop Reasoning

EMNLP 2025 Main Accept

2. [성과와 관련된 이미지]
3.