편집자 주

AI 연구ㆍ개발은 AI 핵심(AI 아키텍처)과 응용(X+AI)으로 대별하기도 하고, 컴퓨터 비전과 자연어 처리 등으로 구분하기도 한다. 또, 의료분야나 유통분야 등 AI 접목 산업별로 나누기도 한다. 같은 AI대학(원)에 속하더라도 개별 연구실이 어떤 주제를 어떤 방식으로 접근할 것인지는 천차만별이다.

AI타임스는 각 연구실에서 어떤 연구 주제를 어떤 방식으로 접근하고 있는지 한 걸음 더 가까이 다가가 살펴보기로 했다. 프로젝트별 세부 현황을 공개, 공유함으로써 AI 연구 기반 구축과 활성화를 기대하면서...

◇특별취재팀=팀장 권영민, 박혜섭ㆍ박유빈ㆍ정윤아ㆍ박성은 기자 

이승용 교수: 제가 포스텍에 부임한 때가 1996년 10월, 어느덧 25년 전이다. 이때부터 현 그래픽스랩이 시작됐다. 조성현 교수는 2012년 2월 우리 연구실을 졸업했고, 이후 여러 경력을 거쳐 재작년 8월에 부임했다. 박사과정 15명, 석사과정 9명 등의 연구원이 소속돼 있다.

조성현 교수: 크게는 시각콘텐츠를 생성하는 데 초점을 맞춰 2D·3D 연구를 하고 있다. 훼손된 영상을 선명하게 복원하는 ‘디블러링’이라는 블러효과를 제거하는 기술을 개발했는데, 이를테면 어두운 밤에 찍었을 때 흔들린 부분을 제거해 선명도를 높여준다. 이외에도 영상의 색감이나 톤을 시각적으로 예뻐 보이게 바꾸는 연구도 진행 중이다. 또 주어진 영상을 편집해 새로 제작하는 연구도 함께 하고 있다.

이승용 교수: 영상 복원 연구는 저와 조 교수가 같이한다. 실제로 우리 주변에 존재하는 3차원 모델을 곧바로 컴퓨터에서 표현할 수 있게 복원하는 3D 스캐닝 연구도 있다. 요즘 메타버스가 뜨고 있는데, 우리가 생활하는 실세계 공간을 3D로 복원한다면 메타버스라는 가상공간에 그대로 옮겨놓을 수 있다. 여기에 더해 ‘인체와 얼굴 모델링’ 연구도 빼놓을 수 없다. 메타버스에서 제일 중요한 요소가 아바타이고 또 그 얼굴일 텐데, 이를 리얼한 3D로 구현하는 것이다. 결론적으로 영상과 2D·3D 콘텐츠를 다양하게 만드는 데 필요한 모든 기술을 연구하고 있다고 보시면 된다.

이승용 교수: 그보다 기술이전 사례에 대해 말씀드리고 싶다. 조성현 교수와 제가 만든 디블러링 기술이 미국 어도비에 기술이전 돼, 현재 어도비 크리에이티브 클라우드 내 카메라 셰이크 리덕션이라는 이름으로 쓰이고 있다. 또 다른 연구원과 개발한 사진 수직 보정 기술도 있다. 스마트폰으로 사진 촬영 시 수직을 맞추기 어려운 경우가 있는데, 이를 정확하게 맞추는 기술이다. 이것도 어도비 라이트룸6에 탑재돼 사용자들로부터 큰 인기를 얻었다.

이승용 교수: 디블러링을 꾸준히 연구하고 있다. 최근에는 캐리커처를 딥러닝으로 자동생성하는 연구를 중국 마이크로소프트 리서치 아시아와 공동으로 진행했는데 즐거운 작업이었다. 또 제가 하고 싶은 연구는 스마트폰에 장착된 다중 카메라로 찍은 사진이나 영상을 활용해 새로운 영상 콘텐츠를 만드는 방법이다.

조성현 교수: 저는 주로 영상복원과 편집에 관심이 많다. 여러 학자가 인공신경망을 통해 영상 속 노이즈나 블러를 제거하는 방법에 관한 연구를 실행하고 있다. 하지만 이보다는 먼저 올바른 학습데이터가 필수다. 그래서 저는 실제 환경에 적용했을 때 영상 잡음 제거 알고리즘이나 블러 제거 알고리즘이 좋은 성능을 내는 기반이 되는 학습데이터셋을 연구 중이다. 또 하나는 GAN(생성적 적대 신경망) 기술을 어떻게 하면 영상에 접목할 수 있을지에 관한 것이다. 현 기술로 영상은 자유롭게 생성할 수 있지만, 기존 영상에 적용하려면 한계가 존재한다.

이승용 교수: 매해 평균 6, 7편의 논문을 해외 유명 학술대회에서 발표하고 있다. 또 자랑하고 싶은 게, 우리 연구실은 ACM SIGGRAPH나 CVPR·ICCV·ECCV 등 컴퓨터 비전과 그래픽스 두 가지 분야 내 최고 학술대회에서 모두 논문을 제출하고 있다. 이 같은 성과를 내는 학교나 연구실은 국내에서는 우리 외에는 거의 없다고 자부한다.

특허 관련해서는 아까 말씀드린 어도비 기술이전이 이에 해당된다. 디블러링을 비롯한 기술을 어도비에 이전하면서 특허출원과 사용권이 포함됐었다. 이외에도 꾸준히 국내에서도 일년에 두 세 차례 특허를 내고 있다. 최근 기술이전 사례로는 특수효과 촬영 시 대형 LED 스크린을 스튜디오 벽면에 붙인 다음, 그래픽스로 제작한 배경을 실행하는 내용이다. 이 경우 기존 블루스크린 앞에서 배우가 연기한 이후 합성하는 과정 없이 한 번에 촬영이 끝난다. 우리는 이때 필요한 배경영상에 노이즈를 제거해 선명한 화질을 복원하는 텍스쳐 패턴 기술을 개발해 이전했다.

조성현 교수: 저는 지난해 곽수하 교수와 화질이 저하된 영상에서 물체인식 성능을 개선하는 방법을 공동연구해 ECCV 학회에서 발표했다. 또 국내에서는 카카오브레인과 카이스트·국민대와 한 장의 영상에서 카메라 파라미터(화각)를 찾는 연구를 공동으로 진행하고 있다. 이 연구는 ICCV 학회에서 논문이 채택돼 조만간 발표할 예정이다.

이승용 교수: 사람들이 원하는 최상의 화질을 우리가 개발한 기술로 손쉽게 얻을 수 있길 바란다. 스마트폰으로 촬영할 때나 3D 콘텐츠를 만들 때 등 다양한 경우에도 적용된다. 굳이 전문가가 아닌 일반 대중들도 원하는 영상을 생성할 수 있는 기술을 제공하는 것이 우리 연구의 방향과 목표다.