Pasukan Tsinghua mencadangkan rangka kerja pra-latihan Transformer graf berpandukan pengetahuan: kaedah untuk meningkatkan pembelajaran perwakilan molekul

Editor | Ziluo

Untuk menggalakkan ramalan sifat molekul, dalam bidang penemuan dadah, adalah sangat penting untuk mempelajari molekul yang berkesan perwakilan ciri. Baru-baru ini, orang ramai telah mengatasi cabaran kekurangan data dengan pra-latihan rangkaian saraf graf (GNN) menggunakan teknik pembelajaran yang diselia sendiri. Walau bagaimanapun, terdapat dua masalah utama dengan kaedah semasa berdasarkan pembelajaran penyeliaan kendiri: kekurangan strategi pembelajaran penyeliaan kendiri yang jelas dan keupayaan terhad GNN

Baru-baru ini, penyelidikan dari Universiti Tsinghua, West Lake University dan Makmal Zhijiang Pasukan itu mencadangkan Latihan Pra-latihan Pengubah Graf (KPGT) berpandukan Pengetahuan, rangka kerja pembelajaran diselia sendiri yang menyediakan ramalan sifat molekul yang lebih baik, boleh digeneralisasikan dan Teguh. Rangka kerja KPGT menyepadukan Transformer graf yang direka khusus untuk graf molekul dan strategi pra-latihan berpandukan pengetahuan untuk menangkap sepenuhnya pengetahuan struktur dan semantik molekul.

Melalui ujian pengiraan yang meluas pada 63 set data, KPGT telah menunjukkan prestasi unggul dalam meramalkan sifat molekul dalam pelbagai bidang. Tambahan pula, kebolehgunaan praktikal KPGT dalam penemuan ubat telah disahkan dengan mengenal pasti perencat berpotensi dua sasaran antitumor. Secara keseluruhan, KPGT boleh menyediakan alat yang berkuasa dan berguna untuk memajukan proses penemuan dadah berbantukan AI.

Penyelidikan itu bertajuk "Rangka kerja pra-latihan berpandukan pengetahuan untuk meningkatkan pembelajaran perwakilan molekul" dan diterbitkan dalam "Nature Communications" pada 21 November 2023.

Menentukan sifat molekul secara eksperimen memerlukan masa dan sumber yang penting, dan mengenal pasti molekul dengan sifat yang dikehendaki adalah salah satu cabaran paling ketara dalam penemuan ubat. Dalam beberapa tahun kebelakangan ini, kaedah berasaskan kecerdasan buatan telah memainkan peranan yang semakin penting dalam meramalkan sifat molekul. Salah satu cabaran utama kaedah berasaskan kecerdasan buatan untuk meramalkan sifat molekul ialah pencirian molekul

Dalam beberapa tahun kebelakangan ini, kaedah berasaskan pembelajaran mendalam telah muncul sebagai alat yang berpotensi berguna untuk meramalkan sifat molekul, terutamanya kerana keupayaan mereka untuk Keupayaan cemerlang untuk mengekstrak ciri berkesan secara automatik daripada data input mudah. Terutamanya, pelbagai seni bina rangkaian saraf, termasuk rangkaian saraf berulang (RNN), rangkaian saraf konvolusi (CNN), dan rangkaian saraf graf (GNN), mahir memodelkan data molekul dalam pelbagai format, daripada input molekul dipermudahkan kepada sistem input Line ( SMILES) kepada imej molekul dan gambar rajah molekul. Walau bagaimanapun, ketersediaan terhad molekul penanda dan keluasan ruang kimia mengehadkan prestasi ramalan mereka, terutamanya apabila berurusan dengan sampel data luar pengedaran.

Dengan pencapaian luar biasa kaedah pembelajaran penyeliaan sendiri dalam bidang pemprosesan bahasa semula jadi dan penglihatan komputer, teknik ini telah digunakan untuk pra-melatih GNN dan meningkatkan pembelajaran perwakilan molekul, dengan itu melaksanakan molekul hiliran tugas ramalan harta Kemajuan besar telah dicapai dalam

Penyelidik membuat hipotesis bahawa memperkenalkan pengetahuan tambahan yang secara kuantitatif menerangkan ciri molekul ke dalam rangka kerja pembelajaran yang diselia sendiri dapat menangani cabaran ini dengan berkesan. Molekul mempunyai banyak ciri kuantitatif, seperti deskriptor molekul dan cap jari, yang boleh diperoleh dengan mudah dengan alat pengiraan yang sedia ada. Mengintegrasikan pengetahuan tambahan ini boleh memperkenalkan maklumat semantik molekul yang kaya ke dalam pembelajaran yang diselia sendiri, dengan itu meningkatkan pemerolehan perwakilan molekul yang kaya secara semantik.

Secara amnya, kaedah pembelajaran penyeliaan kendiri sedia ada bergantung pada GNN sebagai model teras. Walau bagaimanapun, GNN mempunyai kapasiti model yang terhad. Tambahan pula, GNN boleh mengalami kesukaran menangkap interaksi jarak jauh antara atom. Dan model berasaskan Transformer telah menjadi model yang mengubah permainan. Ia dicirikan oleh peningkatan bilangan parameter dan keupayaan untuk menangkap interaksi jarak jauh, menyediakan pendekatan yang menjanjikan untuk memodelkan ciri-ciri struktur molekul secara menyeluruh

Rangka kerja pembelajaran penyeliaan kendiri KPGT# 🎜🎜 #

Dalam kajian ini, penyelidik memperkenalkan rangka kerja pembelajaran penyeliaan kendiri yang dipanggil KPGT, yang bertujuan untuk meningkatkan pembelajaran perwakilan molekul dan dengan itu menggalakkan tugas ramalan sifat molekul hiliran. Rangka kerja KPGT terdiri daripada dua komponen utama: model tulang belakang yang dipanggil Line Graph Transformer (LiGhT) dan dasar pra-latihan berpandukan pengetahuan. Rangka kerja KPGT menggabungkan model LiGhT berkapasiti tinggi, yang direka khusus untuk memodelkan struktur graf molekul dengan tepat, dan menggunakan strategi pra-latihan berpandukan pengetahuan untuk menangkap struktur molekul dan pengetahuan semantik

Pasukan penyelidik menggunakan data ChEMBL29 Tertumpu kira-kira 2 juta molekul, LiGhT telah dilatih terlebih dahulu melalui strategi pra-latihan berpandukan pengetahuan

#🎜🎜T# Kandungan ditulis semula ialah: Carta: KPG Gambaran Keseluruhan . (Sumber: kertas)

KPGT mengatasi kaedah asas dalam ramalan sifat molekul. Berbanding dengan beberapa kaedah asas, KPGT mencapai peningkatan ketara pada 63 set data.

Ilustrasi: Penilaian perbandingan KPGT dan kaedah asas dalam meramalkan sifat molekul. (Sumber: kertas)

Selain itu, aplikasi praktikal KPGT telah ditunjukkan dengan berjaya menggunakan KPGT untuk mengenal pasti potensi perencat dua sasaran anti-tumor, hematopoietik progenitor kinase 1 (HPK1) dan reseptor faktor pertumbuhan fibroblast (FGFR1).

Ilustrasi: Pengenalpastian perencat HPK1 menggunakan KPGT. (Sumber: Kertas)

Ilustrasi: Pengenalpastian perencat FGFR1 menggunakan KPGT. (Sumber: Kertas)

Batasan Penyelidikan

Walaupun kelebihan KPGT dalam ramalan sifat molekul yang berkesan, masih terdapat beberapa batasan.

• Pertama sekali, penyepaduan pengetahuan tambahan adalah ciri yang paling ketara dalam kaedah yang dicadangkan. Sebagai tambahan kepada 200 deskriptor molekul dan 512 RDKFP yang digunakan dalam KPGT, terdapat potensi untuk menggabungkan pelbagai jenis pengetahuan maklumat tambahan yang lain.
• Selain itu, penyelidikan lanjut boleh menyepadukan konformasi molekul tiga dimensi (3D) ke dalam proses pra-latihan, membolehkan model menangkap maklumat 3D penting tentang molekul dan berpotensi meningkatkan keupayaan pembelajaran perwakilan.
• Walaupun KPGT pada masa ini menggunakan model tulang belakang dengan kira-kira 100 juta parameter dan pra-latihan pada 2 juta molekul, penerokaan pra-latihan berskala lebih besar boleh memberikan manfaat yang lebih besar untuk pembelajaran perwakilan molekul.

Secara keseluruhannya, KPGT menyediakan rangka kerja pembelajaran penyeliaan kendiri yang berkuasa untuk pembelajaran perwakilan molekul yang berkesan, dengan itu memajukan bidang penemuan dadah berbantukan kecerdasan buatan.

Pautan kertas: https://www.nature.com/articles/s41467-023-43214-1

Atas ialah kandungan terperinci Pasukan Tsinghua mencadangkan rangka kerja pra-latihan Transformer graf berpandukan pengetahuan: kaedah untuk meningkatkan pembelajaran perwakilan molekul. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!