Tsinghua 팀은 지식 기반 그래프를 제안합니다. Transformer 사전 훈련 프레임워크: 분자 표현 학습을 개선하는 방법

Editor | Ziluo

분자 특성 예측을 용이하게 하려면 신약 개발 분야에서 효과적인 분자 특징 표현을 배우는 것이 매우 중요합니다. 최근 사람들은 자기 지도 학습 기술을 사용하여 그래프 신경망(GNN)을 사전 훈련함으로써 데이터 부족 문제를 극복했습니다. 그러나 자기 지도 학습을 기반으로 하는 현재 방법에는 두 가지 주요 문제가 있습니다. 명확한 자기 지도 학습 전략이 부족하고 GNN의 제한된 기능입니다.

최근 Tsinghua University, West Lake University 및 Zhijiang Laboratory의 연구팀이 지식을 제안했습니다. 지침 KPGT(Knowledge-guided Pre-training of Graph Transformer)는 크게 향상된 분자 표현 학습을 통해 분자 특성에 대한 개선되고 일반화 가능하며 강력한 예측을 제공하는 자기 지도 학습 프레임워크입니다. KPGT 프레임워크는 분자 그래프용으로 특별히 설계된 그래프 변환기와 지식 기반 사전 학습 전략을 통합하여 분자의 구조적, 의미적 지식을 완벽하게 포착합니다.

KPGT는 63개 데이터 세트에 대한 광범위한 컴퓨터 테스트를 통해 다양한 분야에서 분자 특성 예측에 탁월한 성능을 입증했습니다. 또한, 두 가지 항종양 표적에 대한 잠재적인 억제제를 식별함으로써 신약 발굴에서 KPGT의 실제 적용 가능성을 검증했습니다. 전반적으로 KPGT는 AI 지원 약물 발견 프로세스를 발전시키기 위한 강력하고 유용한 도구를 제공할 수 있습니다.

이 연구의 제목은 "분자 표현 학습 개선을 위한 지식 기반 사전 훈련 프레임워크"이며 2023년 11월 21일 "Nature Communications"에 게재되었습니다.

분자 특성을 실험적으로 결정하려면 상당한 시간과 자원이 필요하며, 원하는 특성을 가진 분자를 식별하는 것은 약물 발견에서 가장 중요한 과제 중 하나입니다. 최근 몇 년 동안 인공지능 기반 방법은 분자 특성을 예측하는 데 점점 더 중요한 역할을 하고 있습니다. 분자 특성을 예측하기 위한 AI 기반 방법의 주요 과제 중 하나는 분자의 특성화입니다

최근 몇 년 동안 딥 러닝 기반 방법은 분자 특성을 예측하는 데 잠재적으로 유용한 도구로 부상했습니다. 간단한 입력 데이터를 효과적으로 특성화하는 탁월한 능력. 특히 RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), GNN(Graph Neural Network)을 포함한 다양한 신경망 아키텍처는 단순화된 분자 입력부터 라인 입력 시스템에 이르기까지 다양한 형식의 분자 데이터를 모델링하는 데 능숙합니다. SMILES)을 분자 이미지와 분자 다이어그램으로 변환합니다. 그러나 마커 분자의 제한된 가용성과 화학적 공간의 광대함은 특히 배포되지 않은 데이터 샘플을 처리할 때 예측 성능을 제한합니다.

자연어 처리 및 컴퓨터 비전 분야에서 자기 지도 학습 방법의 놀라운 성과를 통해 이러한 기술은 GNN을 사전 훈련하고 분자의 표현 학습을 개선하는 데 적용되어 다운스트림 분자 특성 예측 작업에서 상당한 결과를 얻었습니다. . Progress

연구원들은 분자 특성을 정량적으로 설명하는 추가 지식을 자기 지도 학습 프레임워크에 도입하면 이러한 문제를 효과적으로 해결할 수 있다고 가정합니다. 분자는 현재 확립된 계산 도구를 사용하여 쉽게 얻을 수 있는 분자 설명자 및 지문과 같은 많은 정량적 특성을 가지고 있습니다. 이러한 추가 지식을 통합하면 풍부한 분자 의미론적 정보를 자기 지도 학습에 도입할 수 있으므로 의미론적으로 풍부한 분자 표현의 획득이 크게 향상됩니다.

일반적으로 기존의 자기 지도 학습 방법은 GNN을 핵심 모델로 사용합니다. 그러나 GNN은 모델 용량이 제한되어 있습니다. 또한 GNN은 원자 간의 장거리 상호 작용을 포착하는 데 어려움을 겪을 수 있습니다. 그리고 Transformer 기반 모델은 판도를 바꾸는 모델이 되었습니다. 이는 매개변수 수가 증가하고 장거리 상호 작용을 포착하는 능력이 특징이며, 분자의 구조적 특징을 종합적으로 모델링하는 유망한 접근 방식을 제공합니다

자기 지도 학습 프레임워크 KPGT

이 연구에서 연구원들은 KPGT라는 자기 지도 학습 프레임워크는 분자 표현 학습을 향상시켜 다운스트림 분자 특성 예측 작업을 촉진하기 위해 개발되었습니다. KPGT 프레임워크는 LiGhT(Line Graph Transformer)라는 백본 모델과 지식 기반 사전 학습 정책이라는 두 가지 주요 구성 요소로 구성됩니다. KPGT 프레임워크는 분자 그래프 구조를 정확하게 모델링하도록 특별히 설계된 고용량 LiGhT 모델을 결합하고 지식 기반 사전 학습 전략을 활용하여 분자 구조와 의미 지식을 포착합니다.

연구팀은 ChEMBL29 데이터 세트 Molecule, LiGhT는 지식 기반 사전 학습 전략

재작성된 콘텐츠: 다이어그램: KPGT 개요를 통해 사전 학습되었습니다. (출처: 논문)

KPGT는 분자 특성 예측에서 기본 방법보다 성능이 뛰어납니다. 여러 기본 방법과 비교하여 KPGT는 63개 데이터 세트에서 상당한 개선을 달성했습니다.

그림: 분자 특성 예측에 있어서 KPGT와 기본 방법의 비교 평가. (출처: 논문)

또한 KPGT를 사용하여 두 가지 항종양 표적인 조혈 전구 키나제 1(HPK1)과 섬유아세포 성장 인자 수용체(FGFR1)의 잠재적 억제제를 식별하는 데 성공함으로써 KPGT의 실제 적용이 입증되었습니다.

그림: KPGT를 사용한 HPK1 억제제 식별. (출처: 논문)

그림: KPGT를 사용한 FGFR1 억제제 식별. (출처: 논문)

연구 한계

효과적인 분자 특성 예측에 있어서 KPGT의 장점에도 불구하고 여전히 몇 가지 한계가 있습니다.

• 우선, 추가 지식의 통합이 제안된 방법의 가장 중요한 특징입니다. KPGT에서 사용되는 200개의 분자 설명자와 512개의 RDKFP 외에도 다양한 유형의 추가 정보 지식을 통합할 수 있는 잠재력이 있습니다.
• 또한 추가 연구를 통해 3차원(3D) 분자 형태를 사전 학습 프로세스에 통합하여 모델이 분자에 대한 중요한 3D 정보를 캡처하고 잠재적으로 표현 학습 기능을 향상시킬 수 있습니다.
• KPGT는 현재 약 1억 개의 매개변수와 200만 개의 분자에 대한 사전 훈련을 갖춘 백본 모델을 사용하고 있지만 대규모 사전 훈련을 탐색하면 분자 표현 학습에 더 실질적인 이점을 제공할 수 있습니다.

전반적으로 KPGT는 효과적인 분자 표현 학습을 위한 강력한 자기 지도 학습 프레임워크를 제공하여 인공 지능 지원 약물 발견 분야를 발전시킵니다.

논문 링크: https://www.nature.com/articles/s41467-023-43214-1

위 내용은 Tsinghua 팀은 지식 기반 그래프를 제안합니다. Transformer 사전 훈련 프레임워크: 분자 표현 학습을 개선하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!