[연구의 필요성]
ASR(Automatic Speech Recognition) 시스템은 대규모 언어 모델을 활용한 Generative Error Correction (GEC) 방식으로 오류를 보정할 수 있지만, 초기 가설(hypotheses)에 없는 고유명사(Named Entities, NEs) 를 효과적으로 보정하기 어렵습니다. 특히 ASR 결과에 존재하지 않거나 빈도가 낮은 고유명사들은 LLM의 편향으로 인해 잘 복구되지 않는 한계가 있었습니다. 이 문제를 해결하기 위해 외부 데이터베이스에서 NE 후보를 검색하는 RAGEC(Retrieval-Augmented GEC) 방식이 제안되었지만, 이 방식은 검색된 NE 후보군에 노이즈(irrelevant NEs)가 섞여 있어 여전히 보정 성능을 저해합니다. 따라서, 검색된 NE 후보군의 명확한 노이즈 제거가 필요하다는 문제가 본 연구의 출발점입니다.

 

[포스텍이 가진 고유의 기술]

• DeRAGEC 프레임워크: 기존 RAGEC 방식에 명확한 NE 후보군 노이즈 제거를 위한 기법을 도입했습니다. 특히, 다음과 같은 기술들이 특징적입니다.
  • - Phonetic & Semantic Enrichment: 각 NE 후보에 대해 음성 유사도 점수와 위키피디아 정의를 결합.
  • - Synthetic Rationale Generation: NE 후보의 관련성을 설명하는 합성된 논리(rationale) 를 생성.
  • - Training-free Denoising Gate: 별도의 학습 과정 없이, 위에서 생성된 rationale을 사용해 불필요한 NE 후보를 제거.

이러한 기술들은 phonetic query, 합성된 rationale을 활용하여 기존 RAGEC의 한계를 극복하는 고유한 접근법입니다.

 

[연구의 의미]

• - ASR 성능 개선: 초기 ASR 가설에서 놓친 고유명사를 더 정확히 복구하여, 고유명사 인식률(NE hit ratio)과 전체 오류율(WER)을 동시에 개선.
• - 훈련 없는 방법론: 기존 접근방식들은 모델을 새롭게 학습해야 했으나, 본 연구의 DeRAGEC는 추가 훈련 없이 in-context learning만으로 고유명사 노이즈를 제거.
• - 합성된 논리의 활용: 자동화된 synthetic rationale 생성으로, 투명하고 일관성 있는 NE 후보군 필터링 가능.

 

[연구결과의 진행 상태 및 향후 계획]

•  1) 진행 상태:
  • - CommonVoice와 STOP 데이터셋에서 실험을 수행.
  • - DeRAGEC는 기존 ASR만 사용한 경우 대비 28%의 상대적 WER 감소 달성.
  • - RAGEC 및 ORACLE 방식과 비교해도 가장 우수한 NE 보정 성능을 보임.
  • - 연구 결과와 소스코드를 공개: github.com/solee0022/deragec
•  
•  2) 향후 계획:
  • - 합성된 논리의 학습적 활용: 현재는 추가 학습 없이 reasoning에 활용하지만, 향후 이 rationale을 모델 훈련에 접목하여 성능을 더 끌어올리는 연구 예정.
  • - 다양한 ASR/후처리 모델 적용성 확인: DeRAGEC의 일반화 가능성을 다양한 ASR 및 후처리 모델에서 검증.

- 대체적인 denoising 접근법 탐색: 다른 노이즈 제거 방식(예: thresholding, 통계 기반 filtering 등)과 비교/보완 연구 계획.

 

[성과와 관련된 실적]
Solee Im*, Wonjun Lee*, Jinmyeong An, Yunsu Kim, Jungseul Ok, Gary Geunbae Lee  Annual Meeting of the Association for Computational Linguistics (ACL) 2025 Findings, Accepted

 

[성과와 관련된 이미지]