AI4Science의 초석: 기하학적 그래프 신경망, 가장 포괄적인 리뷰가 여기에 있습니다! 중국 런민대학교 힐하우스, 텐센트 AI 연구소, 칭화대학교, 스탠포드 등 공동 출시

Editor | XS

Nature는 2023년 11월 두 가지 중요한 연구 결과를 발표했습니다: 단백질 합성 기술 Chroma 및 결정 재료 설계 방법 GNoME. 두 연구 모두 과학 데이터를 처리하기 위한 도구로 그래프 신경망을 채택했습니다.

사실 그래프 신경망, 특히 기하학적 그래프 신경망은 항상 과학 지능(AI for Science) 연구에 중요한 도구였습니다. 과학 분야의 입자, 분자, 단백질, 결정 등의 물리적 시스템을 특수한 데이터 구조인 기하학적 그래프로 모델링할 수 있기 때문입니다.

일반 토폴로지 다이어그램과 달리 기하학적 다이어그램은 물리적 시스템을 더 잘 설명하기 위해 필수적인 공간 정보를 추가하고 평행 이동, 회전 및 뒤집기의 물리적 대칭을 충족해야 합니다. 물리 시스템 모델링을 위한 기하학적 그래프 신경망의 우수성을 고려하여 최근에는 다양한 방법이 등장하고 있으며 논문 수도 계속 늘어나고 있습니다.

최근 중국 인민대학교 Hillhouse는 Tencent AI Lab, Tsinghua University, Stanford 및 기타 기관과 협력하여 "기하 그래프 신경망 조사: 데이터 구조, 모델 및 애플리케이션"이라는 리뷰 논문을 발표했습니다. 그룹 이론 및 대칭과 같은 이론적 지식에 대한 간략한 소개를 바탕으로 이 리뷰는 데이터 구조 및 모델에서 수많은 과학적 응용에 이르기까지 관련 기하학적 그래프 신경망 문헌을 체계적으로 검토합니다.

논문 링크:https://arxiv.org/abs/2403.00485

GitHub 링크:https://github.com/RUC-GLAD/GGNN4Science

이 리뷰에서 저자는 300개 이상의 참고자료, 3가지 기하학적 그래프 신경망 모델 요약, 입자, 분자, 단백질 등 다양한 과학 데이터에 대한 23가지 작업에 대한 관련 방법을 소개하고 50개 이상의 관련 리뷰 데이터 세트를 수집했습니다. 마지막으로 기하학적 그래프 기본 모델, 대형 언어 모델과의 결합 등 향후 연구 방향을 기대한다.

다음은 각 장에 대한 간략한 소개입니다.

기하학적 그래프 데이터 구조

기하학적 그래프는 인접 행렬, 노드 특성, 노드 기하학적 정보(예: 좌표)로 구성됩니다. 유클리드 공간에서 기하학적 도형은 일반적으로 변환, 회전 및 반사의 물리적 대칭을 보여줍니다. 그룹은 일반적으로 유클리드 그룹, 변환 그룹, 직교 그룹, 순열 그룹 등을 포함하여 이러한 변환을 설명하는 데 사용됩니다. 직관적으로는 변위, 이동, 회전, 뒤집기라는 네 가지 작업을 특정 순서로 조합한 것으로 이해할 수 있습니다.

많은 AI for Science 분야에서 기하학적 그래프는 소분자, 단백질, 결정, 물리적 점 구름 등을 포함한 많은 물리적 시스템을 나타내는 데 사용할 수 있는 강력하고 다재다능한 표현 방법입니다.

기하 그래프 신경망 모델

실제 문제 해결 목표의 대칭 요구 사항에 따라 이 기사에서는 기하 그래프 신경망을 불변 모델과 등변 모델 모델, 기하 그래프 변환기의 세 가지 범주로 나눕니다. Transformer 아키텍처에서 영감을 받은 등변 모델은 스칼라화 기반 모델과 구형 조화를 기반으로 한 고도 조정 가능 모델로 세분화됩니다. 위의 규칙에 따라 이 기사에서는 최근 몇 년 동안 잘 알려진 기하학적 그래프 신경망 모델을 수집하고 분류합니다.

여기서는 대표작을 통해 불변 모델(SchNet[1]), 스칼라 방법 모델(EGNN[2]), 고차 제어 가능 모델(TFN[3]) 간의 관계를 간략하게 소개합니다. 지점마다 다르고. 세 가지 모두 메시지 전달 메커니즘을 사용하지만 등변 모델인 후자의 두 가지 모델은 추가적인 기하학적 메시지 전달을 도입합니다.

불변 모델은 주로 노드 자체의 특성(예: 원자 유형, 질량, 전하 등)과 원자 간의 불변 특성(예: 거리, 각도[4], 2면각[5]) 등을 사용합니다. . 그런 다음 메시지를 전파합니다.

이 밖에도 스칼라화 방법은 노드 간의 좌표 차이를 통해 기하학적 정보를 추가로 도입하고, 불변 정보를 기하학적 정보의 가중치로 선형적으로 결합하여 등분산 도입을 달성합니다.

고차 제어 가능 모델은 고차 구면 고조파 및 Wigner-D 행렬을 사용하여 시스템의 기하학적 정보를 표현합니다. 이 방법은 양자역학에서 Clebsch-Gordan 계수를 통해 환원 불가능한 표현의 차수를 제어합니다. 프로세스.

기하 그래프 신경망의 정확도는 이러한 유형의 디자인이 보장하는 대칭성을 통해 크게 향상되며 생성 작업에서도 빛을 발합니다.

아래 그림은 QM9, PDBBind, SabDab의 세 가지 데이터 세트에 대해 기하 그래프 신경망과 기존 모델을 이용한 분자 특성 예측, 단백질-리간드 도킹 및 항체 설계(생성)의 세 가지 작업 결과를 보여줍니다. 기하학적 그래프 신경망의 장점을 확실히 알 수 있습니다.

과학 응용

과학 응용 측면에서 리뷰는 물리학(입자), 생화학(소분자, 단백질) 및 결정, 작업 정의 및 필수 대칭 보장과 같은 기타 응용 시나리오를 다룹니다. 카테고리부터 시작 , 각 작업에서 일반적으로 사용되는 데이터 세트와 이러한 유형의 작업에서 고전적인 모델 설계 아이디어가 소개됩니다.

위 표는 다양한 분야의 일반적인 작업과 고전적인 모델을 보여줍니다. 그 중에서 단일 인스턴스와 다중 인스턴스(예: 여러 분자의 참여가 필요한 화학 반응)에 따라 기사에서는 작은 분자를 별도로 구별합니다. 작은 분자, 작은 분자 -단백질, 단백질 - 단백질의 세 가지 영역.

현장에서 모델 설계 및 실험 개발을 더 용이하게 하기 위해 이 기사에서는 단일 인스턴스와 다중 인스턴스를 기반으로 하는 두 가지 작업 유형에 대한 공통 데이터 세트와 벤치마크를 계산하고 다양한 데이터 세트의 샘플 크기와 작업 유형을 기록합니다. .

다음 표에는 일반적인 단일 인스턴스 작업 데이터 세트가 요약되어 있습니다.

다음 표에는 일반적인 다중 인스턴스 작업 데이터 세트가 정리되어 있습니다.

미래 전망

이 기사는 출발점이 되기를 바라며 여러 측면에 대한 예비 전망을 제공합니다.

1 기본 기하학적 그래프 모델

은 다양한 작업과 분야에서 통합됩니다. 기본 모델의 우수성은 GPT 시리즈 모델의 획기적인 발전에 완전히 반영되었습니다. 이 아이디어를 기하학적 그래프 신경망 설계에 도입하기 위해 작업 공간, 데이터 공간 및 모델 공간에서 합리적인 설계를 수행하는 방법은 여전히 ​​흥미로운 공개 문제입니다.

2. 모델 훈련과 실제 실험 검증의 효율적인 주기

과학 데이터 획득에는 비용과 시간이 많이 소요되며, 독립적인 데이터 세트로만 평가되는 모델은 실제 세계의 피드백을 직접 반영할 수 없습니다. GNoME(그래프 네트워크 교육, 밀도 함수 이론 계산, 재료 발견 및 합성을 위한 자동화된 실험실을 포함한 엔드투엔드 파이프라인을 통합)와 유사한 효율적인 모델-현실 반복 실험 패러다임을 달성하는 방법의 중요성이 날로 증가할 것입니다. 낮.

3. 대형 언어 모델(LLM)과의 통합

대형 언어 모델(LLM)은 다양한 분야를 포괄하는 풍부한 지식을 가지고 있는 것으로 널리 입증되었습니다. 분자 특성 예측 및 약물 설계와 같은 특정 작업에 LLM을 활용하는 일부 작업이 있었지만 기본 요소 또는 분자 그래프에서만 작동합니다. 이를 기하학적 그래프 신경망과 유기적으로 결합하여 3차원 구조 정보를 처리하고 3차원 구조에 대한 예측이나 생성을 수행하는 방법은 여전히 ​​매우 어렵습니다.

4. 등분산 제약 조건 완화

데이터 효율성과 모델 일반화 능력을 향상시키는 데 등분산이 중요하다는 점에는 의심의 여지가 없지만, 너무 강한 등분산 제약 조건은 때로는 모델을 너무 많이 제한할 수 있다는 점은 주목할 가치가 있습니다. 성능. 따라서 설계된 모델의 등분산성과 적응성의 균형을 어떻게 맞출 것인가는 매우 흥미로운 질문입니다. 이 분야에 대한 탐구는 모델 동작에 대한 이해를 풍부하게 할 뿐만 아니라 더 폭넓게 적용할 수 있는 더욱 강력하고 일반적인 솔루션을 개발할 수 있는 길을 열어줍니다.

참고자료

[1] Schütt K, Kindermans P J, Sauceda Felix HE, et al. Schnet: 양자 상호 작용 모델링을 위한 연속 필터 컨벌루션 신경망[J], 2017, 30 .

[2] Satorras V G, Hoogeboom E, Welling M. E (n) 등변 그래프 신경망[C]//기계 학습에 관한 국제 컨퍼런스. PMLR, 2021: 9323-9332.

[3] Thomas N, Smidt T, Kearnes S, 외. 텐서 필드 네트워크: 3D 포인트 클라우드를 위한 회전 및 변환 등변 신경망[J]. arXiv 사전 인쇄 arXiv:1802.08219, 2018.

[4] Gasteiger J, Groß J, Günnemann S. 분자 그래프를 위한 방향 메시지 전달[C]//학습 표현에 관한 국제 회의. 2019.

[5] Gasteiger J, Becker F, Günnemann S. Gemnet: 분자를 위한 범용 방향 그래프 신경망[J]. 신경 정보 처리 시스템의 발전, 2021, 34: 6790-6802.

[6] Merchant A, Batzner S, Schoenholz S S, et al. 재료 발견을 위한 딥 러닝 확장[J]. 자연, 2023, 624(7990): 80-85.

위 내용은 AI4Science의 초석: 기하학적 그래프 신경망, 가장 포괄적인 리뷰가 여기에 있습니다! 중국 런민대학교 힐하우스, 텐센트 AI 연구소, 칭화대학교, 스탠포드 등 공동 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!