연구
최신연구
View
[김동우/안성수 교수] New representations for graph generation | ||
---|---|---|
작성자 시스템 | 작성일 24/02/16 (00:00) | 조회수 979 |
[연구의 필요성]
최근 중요성이 대두되고 있는 신약 개발, 신소재 개발 등에 생성 모델을 적용하기 위해서는 그래프 생성 모델의 개발이 필수적이다. 기존의 그래프 생성 모델 연구들은 그래프에 맞는 형태의 모델 아키텍처를 개발하는 것에 집중해왔고, 그래프의 representation으로 인접 행렬만을 사용해왔다. 하지만 생성 모델은 representation의 분포를 학습해야 하기 때문에, 더 간단하고 모델이 학습하기에 좋은 representation의 개발은 생성 모델의 성능에 직접적으로 영향을 미친다. 이에 본 연구는 새로운 그래프 representation을 제시하여 학습 데이터의 특징을 잘 학습하여 그래프를 생성할 수 있는 생성 모델을 개발하였다.
최근 중요성이 대두되고 있는 신약 개발, 신소재 개발 등에 생성 모델을 적용하기 위해서는 그래프 생성 모델의 개발이 필수적이다. 기존의 그래프 생성 모델 연구들은 그래프에 맞는 형태의 모델 아키텍처를 개발하는 것에 집중해왔고, 그래프의 representation으로 인접 행렬만을 사용해왔다. 하지만 생성 모델은 representation의 분포를 학습해야 하기 때문에, 더 간단하고 모델이 학습하기에 좋은 representation의 개발은 생성 모델의 성능에 직접적으로 영향을 미친다. 이에 본 연구는 새로운 그래프 representation을 제시하여 학습 데이터의 특징을 잘 학습하여 그래프를 생성할 수 있는 생성 모델을 개발하였다.
[포스텍이 가진 고유의 기술]
Graph generation with K2-trees (HGGT): 기존에 그래프 압축(compression) 분야에서 사용되던 K2-tree를 생성 모델에 적용하여 이를 autoregressive하게 생성하는 그래프 생성 모델을 개발하였다. K2-tree는 인접행렬을 서브행렬로 나누어 모든 성분이 0인 서브행렬을 하나의 성분 0으로 매핑하여 효율적으로 그래프를 표현할 뿐만 아니라, 서브행렬 간의 hierarchy를 표현하는 것이 가능하다. 본 연구에서는 이러한 K2-tree의 특성을 반영하는 시퀀스 형태의 representation을 제시하여 양질의 그래프를 더 빠르게 생성하는 생성 모델을 제시하였다.
A simple and scalable representation for graph generation (GEEL): 그래프 bandwidth를 활용한 엣지 리스트를 그래프의 새로운 representation으로 제시하여 이를 autoregressive하게 생성하는 그래프 생성 모델을 개발하였다. 이를 통해 인접 행렬 기반의 representation보다는 생성 단계의 수를 줄여 더 빠른 생성이 가능하고, 기존의 엣지 리스트 기반 representation보다는 토큰의 종류를 줄여 더 적은 메모리만을 활용해도 생성이 가능하도록 하여 더 scalable한 그래프 생성 모델을 제시하였다.
Graph generation with K2-trees (HGGT): 기존에 그래프 압축(compression) 분야에서 사용되던 K2-tree를 생성 모델에 적용하여 이를 autoregressive하게 생성하는 그래프 생성 모델을 개발하였다. K2-tree는 인접행렬을 서브행렬로 나누어 모든 성분이 0인 서브행렬을 하나의 성분 0으로 매핑하여 효율적으로 그래프를 표현할 뿐만 아니라, 서브행렬 간의 hierarchy를 표현하는 것이 가능하다. 본 연구에서는 이러한 K2-tree의 특성을 반영하는 시퀀스 형태의 representation을 제시하여 양질의 그래프를 더 빠르게 생성하는 생성 모델을 제시하였다.
A simple and scalable representation for graph generation (GEEL): 그래프 bandwidth를 활용한 엣지 리스트를 그래프의 새로운 representation으로 제시하여 이를 autoregressive하게 생성하는 그래프 생성 모델을 개발하였다. 이를 통해 인접 행렬 기반의 representation보다는 생성 단계의 수를 줄여 더 빠른 생성이 가능하고, 기존의 엣지 리스트 기반 representation보다는 토큰의 종류를 줄여 더 적은 메모리만을 활용해도 생성이 가능하도록 하여 더 scalable한 그래프 생성 모델을 제시하였다.
[연구의 의미]
본 연구에서 제시하는 생성모델은 기존 그래프 생성 모델들보다 더 신속한 생성 속도를 가지지만 더 높은 질의 그래프를 생성하여 state-of-the-art (SOTA) 성능을 보였다. 뿐만 아니라, 중요성에 비해 비교적 선행 연구가 부족했던 생성 모델을 위한 representation의 선택에 집중하여 이의 중요성을 환기하였다.
본 연구에서 제시하는 생성모델은 기존 그래프 생성 모델들보다 더 신속한 생성 속도를 가지지만 더 높은 질의 그래프를 생성하여 state-of-the-art (SOTA) 성능을 보였다. 뿐만 아니라, 중요성에 비해 비교적 선행 연구가 부족했던 생성 모델을 위한 representation의 선택에 집중하여 이의 중요성을 환기하였다.
[연구결과의 진행 상태 및 향후 계획]
본 연구는 인공지능 분야 최우수 국제학술대회인 International Conference on Learning Representations (ICLR 2024)에서 포스터로 발표되었다.이 연구는 이산화된 특성(discrete feature)을 가지는 분자 그래프만을 대상으로 했는데, 향후 3D 위치 등 연속된 특성을 가지는 그래프에 대해서 연구를 확장할 예정이다.
본 연구는 인공지능 분야 최우수 국제학술대회인 International Conference on Learning Representations (ICLR 2024)에서 포스터로 발표되었다.이 연구는 이산화된 특성(discrete feature)을 가지는 분자 그래프만을 대상으로 했는데, 향후 3D 위치 등 연속된 특성을 가지는 그래프에 대해서 연구를 확장할 예정이다.
[성과와 관련된 실적]
Yunhui Jang, Dongwoo Kim, Sungsoo Ahn, “Graph generation with K2-trees”, ICLR 2024
Yunhui Jang, Seul Lee, Sungsoo Ahn, “A simple and scalable representation for graph generation”, ICLR 2024
Yunhui Jang, Dongwoo Kim, Sungsoo Ahn, “Graph generation with K2-trees”, ICLR 2024
Yunhui Jang, Seul Lee, Sungsoo Ahn, “A simple and scalable representation for graph generation”, ICLR 2024
[성과와 관련된 이미지]