[산업일보]

생성형 AI의 활용 영역이 넓어지면서 이제 LLM을 이용한 기술의 다음 단계인 에이전틱(Agentic) AI에 대한 논의도 빠르게 진행되고 있다. 그러나, 생성형 AI와는 달리 에이전틱 AI는 스스로 사고하고 선택을 할 수도 있기 때문에 이 과정에서 문제가 발생할 경우 이에 대한 책임소재를 구분하기 어렵고 결과에 대한 신뢰도 역시 낮아질 수밖에 없다.

포스텍 컴퓨터공학과 김형훈 교수는 1일 국회에서 열린 ‘고영향 AI 및 Agentic AI 시대의 신뢰 확보를 위한 정책적 논의’세미나의 발제자로 참가해 생성형 AI 이후의 시대에 대한 대비책을 공유했다.

‘LLM and Agentic AI’라는 주제로 발표를 진행한 김 교수는 “LLM 기반으로 만들어진 생성형 AI는 한계가 있기 때문에 이를 해소하기 위해 외부의 툴과 다른 에이전트 들과의 협업을 통해 문제 해결능력이 향상된 것이 ‘에이전틱 AI'”라고 소개해하면서 “이를 통해 복잡한 문제 해결 및 추론 능력이 향상되고 다양한 입력과 출력의 처리 역량이 강화된다”고 말했다.

 김 교수의 설명에 따르면, 에이전틱 AI를 사용하는데 있어서 가장 문제가 되는 것은 ‘권한의 문제’이다.

 “생성형 AI에게 뭔가를 물어보면 엉뚱한 대답을 하는 경우가 있는 것처럼, LLM은 완벽하지가 않기 때문에 AI에게 뭔가를 물어보거나 권한을 이양했을 때 그것이 제대로 작동할 것인가?에 대한 문제가 있다”고 말한 뒤 “더 큰 문제는 외부 환경과 직접적으로 연결될 수 있는 피지컬 AI에게 권한을 줬을 때 이들이 잘못된 행동을 한다면 어떻게 방어하고 복구할 것인가 하는 점”이라고 지적했다.

더 나아가 권한을 이양받은 에이전틱 AI가 잘못된 행동을 했을 경우, 그에 대한 책임 소재 역시 정의되지 않아 향후 큰 문제가 될 수 있으며, 민감한 사안들도 AI끼리 주고받을 수 있다고 김 교수는 경고했다.

발제를 마무리하면서 김 교수는 “페이스북의 경우 최근에는 집단 사이의 혐오를 증폭시키고 있다는 비판을 받고 있지만 처음 페이스북을 만들었을 때의 의도가 혐오조장은 아니었을 것”이라며 “AI역시 의도에 맞게 사용할 수 있도록 굉장히 많은 검증의 단계를 거치는 것이 필요하다”고 강조했다.

출처: 산업일보(https://kidd.co.kr/news/242237)