연구
최신연구
View
| [이근배 교수] Leveraging What's Overfixed: Post-Correction via LLM Grammatical Error Overcorrection | ||
|---|---|---|
| 작성자 이근배 | 작성일 25/09/04 (00:00) | 조회수 6 |
- [연구의 필요성]
기존의 지도학습 기반 소형 모델(sLM)은 보수적으로 수정하는 경향 때문에 정밀도(precision)는 높지만 재현율(recall)이 낮아 오류를 놓치기 쉽습니다. 반대로 거대언어모델(LLM)은 과수정(overcorrection)으로 인해 의미 왜곡과 정확도 저하가 잦습니다. 학습·첨삭 현장에서는 학습자의 오류 인식을 돕기 위해 재현율을 일정 수준 이상 확보하는 것이 핵심이기 때문에, 두 경향의 균형적 해소가 필요합니다. PoCO는 바로 이 sLM의 낮은 재현율과 LLM의 낮은 정밀도의 구조적 한계를 함께 다루기 위한 동기로 제안되었습니다.
- [포스텍이 가진 고유의 기술]
PoCO는 두 단계로 정밀하게 균형을 맞춥니다.
- - 의도적 과수정 유도: CoT 프롬프트를 변형해 LLM이 “가능한 많은 수정”을 하도록 유도해 잠재 오류를 최대한 끌어올린다(overcorrection triggering).
- - Post-Correction(복구 중심 미세조정): LLM이 수정한 편집과 정답 편집(gold)이 동일한 경우에만 “올바른 수정”을 선택적으로 끌어와 Recovered Target을 구성하고, gold target + recovered target 두 쌍으로 학습해 과수정 복구(precision↑)와 신규 오류 보정(recall 유지)을 동시에 달성한다.
- [연구의 의미]
PoCO는 BEA-19(dev/test)와 CoNLL-14에서 상위 재현율을 달성하고, BEA-19(dev/test) F0.5 최고를 기록해 PoCO 방법론을 통해 정밀도와 재현율의 균형잡힌 성능 개선을 입증하였습니다.
- [연구결과의 진행 상태 및 향후 계획]
GPT를 통한 과수정 유도 프롬프트 및 Recovered Target 설계를 완료하고, PoCO-Seq/Mix로 학습·평가를 마쳤습니다. 추후 다양한 opensource LLM을 통해 과수정 유도 프롬프트 설계를 진행할 계획입니다.
- [성과와 관련된 실적]
EMNLP 2025 Main Accept/ 박태희, 도희진, 이근배 / Leveraging What's Overfixed: Post-Correction via LLM Grammatical Error Overcorrection
- [성과와 관련된 이미지]
