[연구의 필요성]

1. Retrieval Augmented Generation(RAG) 기술 사용시 공격자가 LLM의 비정상적 및 악의적 응답 생성을 위한 문서를 데이터베이스에 주입하여 사용자의 만족도 및 RAG 기술의 안전성 측면에서 위험성이 존재함.

 

[포스텍이 가진 고유의 기술]

문서를 검색하는 과정에서 발생하는 Retriever의 gradient와 BERT와 같은 Masked Language Model(MLM)의 masked token 예측 능력을 활용해 악성 문서의 수상한 부분을 탐지하여 악성 문서를 필터링함.

 

[연구의 의미]
사용자는 본 연구를 기존 RAG 시스템에 추가적인 장치 없이 간단하게 적용할 수 있으며, 다른 방어 기법들보다 낮은 연산 비용으로 악성 문서들을 효율적으로 필터링할 수 있음. 다양한 공격 기법에 대하여 90% 이상의 필터링 성능을 보였으며, 향후 방어기법에 적응하는 공격기법에 확장 예정.

 

[연구결과의 진행 상태 및 향후 계획]
아예 말을 하지 못하는 사람을 대상으로, 얼굴 사진을 통해 목소리 정보를 예측하고, 예측된 목소리를 기반으로 음성을 생성하는 보조기술 연구를 진행하고자 합니다

 

[성과와 관련된 실적]
Published to Findings of the Association for Computational Linguistics: ACL 2025 

 

[성과와 관련된 이미지]