介紹全球首個基於自監督學習的分子影像生成框架ImageMol
分子是維持物質化學穩定性的最小單位。分子的研究,是藥學、材料學、生物學、化學等眾多科學領域的基礎性問題。
分子的表徵學習(Molecular Representation Learning)是近年來非常熱門的方向,目前可分為諸多門派:
- 計算藥學家說:分子可以表示為一串指紋,或描述符,如上海藥物所提出的AttentiveFP,是這方面的傑出代表。
- NLPer 說:分子可以表示為 SMILES(序列),然後當作自然語言處理,如百度的 X-Mol,是這方面的傑出代表。
- 圖神經網路研究者說:分子可以表示為一個圖(Graph),也就是鄰接矩陣,然後使用圖神經網路處理,如騰訊的GROVER, MIT 的DMPNN, CMU 的MOLCLR 等方法,都是這方面的傑出代表。
但是,目前的表徵方法仍有一些限制。例如,序列表徵缺乏分子的顯式結構訊息,現有圖神經網路的表達能力仍有諸多限制(中科院計算所沈華偉老師對此有論述,見沈老師報告「圖神經網路的表達能力」)。
有趣的是,在高中化學學習分子的時候,我們看到的是分子的圖像,化學家在設計分子時,也是對照分子圖像進行觀察和思考。一個自然的想法油然而生:「為什麼不直接用分子圖像來表徵分子呢?」如果可以直接用圖像來表徵分子,那麼CV(電腦視覺)裡面的十八般武藝,不都可以用來研究分子嗎?
說乾就乾,CV 裡面的模型那麼多,拿過來學習分子唄?打住,還有一個重要的問題──數據!特別是帶標籤的數據!在 CV 領域,數據標註這件事似乎並不困難。對於圖像辨識或情感分類這些 CV 和 NLP 的經典問題來說,一個人平均能標註 800 條數據。但是在分子領域,只能透過濕實驗和臨床實驗的方式來評估分子性質,因此標籤的數據非常稀缺。
基於此,來自湖南大學的研究者提出了全球首個分子圖像的無監督學習框架 ImageMol,利用大規模無標籤分子圖像數據進行無監督預訓練,為分子性質與藥物標靶理解提供了新範式,證明了分子影像在智慧藥物研發領域具有巨大的潛力。成果以 “Accurate prediction of molecular properties and drug targets using a self-supervised image representation learning framework” 為題發表於國際頂尖期刊《Nature Machine Intelligence》。這次電腦視覺與分子領域交叉取得的成功展示了利用電腦視覺技術理解分子性質與藥物標靶機制的巨大潛力,並為分子領域的研究提供了新的機會。
論文連結:https://www.nature.com/articles/s42256-022-00557-6.pdf
ImageMol 模型結構
ImageMol 的整體架構如下圖所示,總共分為三個部分:
(1) 設計一個分子編碼器ResNet18(淺藍色),能夠從約1000 萬張分子圖像中提取潛在特徵(a) 。
(2)考慮分子影像中的化學知識和結構訊息,利用五個預訓練策略(MG3C、MRD、JPP、MCL、MIR)來優化分子編碼器的潛在表示 (b) 。具體來說為:
① MG3C(Muti-granularity chemical clusters classification 多粒度化學簇分類):其中的結構分類器Structure classifier(深藍色)用於預測分子影像中的化學結構資訊;
② MRD(Molecular rationality discrimination 分子合理性判別器):其中的合理性分類器Rationality classifier(綠色),它用來區分合理與不合理的分子;
③ JPP(Jigsaw puzzle predicition 拼圖預測):其中的拼圖分類器Jigsaw classifier(淺灰色)用於預測分子的合理排列;
④ MCL(MASK-based contrastive learning 基於MASK 的對比學習):其中的對比分類器Contrastive classifier(深灰色)用於最大化原始圖像和mask 圖像之間的相似性;
⑤ MIR(Molecular image reconstruction 分子影像重建):其中的生成器Generator(黃色)用於將潛在特徵恢復分子影像,判別器Discriminator(紫色)用於區分真實影像和生成器生成的假的分子圖像。
(3)在下游任務中對預處理的分子編碼器進行微調,以進一步提高模型效能 (c) 。
基準評估
作者首先使用8 種藥物發現的基準資料集來評估ImageMol 的性能,並且使用兩種最受歡迎的拆分策略(scaffold split 與random scaffold split)來評估ImageMol 在所有基準資料集上的效能。在分類任務中,利用受試者工作特性(Receiver Operating Characteristic, ROC)曲線以及曲線下的面積(Area Under Curve, AUC)來評估,從實驗結果可以看出,ImageMol 均能得到較高的AUC 值(圖a) 。
ImageMol 與預測分子影像的經典卷積神經網路框架Chemception 在HIV 和Tox21 的檢測結果對比(圖b) ,ImageMol 的AUC值較高。本文進一步評估了 ImageMol 在預測五種主要代謝酶(CYP1A2, CYP2C9, CYP2C19, CYP2D6 和 CYP3A4)藥物代謝方面的表現。圖c 顯示,ImageMol 在五種主要藥物代謝酶的抑制劑與非抑制劑的預測中,與三種最先進的基於分子圖像的表示模型(Chemception46、ADMET-CNN12 和QSAR-CNN47)相比,獲得了更高的AUC 值(範圍從0.799 到0.893)。
本文進一步將ImageMol 的性能與三種最先進的分子表示模型進行了比較,如圖d、e 所示。 ImageMol 與使用隨機骨架劃分的基於指紋的模型(如 AttentiveFP)、基於序列的模型(如 TF_Robust)和基於圖的模型(如 N-GRAM、GROVER 和 MPG)相比具有更好的性能。此外,與傳統的基於 MACCS 的方法和基於 FP4 的方法相比,ImageMol 在 CYP1A2,CYP2C9,CYP2C19,CYP2D6 和 CYP3A4 上實現了更高的 AUC 值(圖 f)。
ImageMol 與基於序列的模型(包括RNN_LR、TRFM_LR、RNN_MLP、TRFM_MLP、RNN_RF、TRFM_RF 和CHEM-BERT)和基於圖表的模型(包括MolCLRGIN、MolCLRGCN 和GROVER)相比,g 所示,ImageMol 在CYP1A2、CYP2C9、CYP2C19、CYP2D6、CYP3A4 上實現了更好的AUC 性能。
在上述 ImageMol 與其他先進的模型比較中,可以看出 ImageMol 的優越性。
自新冠疫情爆發以來,我們迫切需要為新冠疫情制定有效的治療策略。因此,作者在該方面對 ImageMol 做了相應的評估。
對13 個SARS-CoV-2 標靶進行預測
ImageMol 對現今關注的SARS-CoV-2 進行了預測實驗,在13 個SARS -CoV-2 生物測定資料集中,ImageMol 實現了72.6% 至83.7% 的高AUC 值。圖a 揭示了透過ImageMol 鑑定的潛在特徵,它在13 個靶點(target)或終點(endpoints)活性和無活性的抗SARS-CoV-2 上很好的聚集,且AUC 值均比另一種模型Jure's GNN 要高12% 以上 ,體現出該模型的高精度和很強的泛化性。
辨識抗SARS-CoV-2 抑制劑
對藥物分子研究關乎最直接的實驗來了,利用ImageMol直接辨識抑制劑分子!透過ImageMol 框架下3CL 蛋白酶(已被證實是治療COVID-19 的有希望的治療發展靶點)抑製劑與非抑製劑數據集的分子圖像表示,該研究發現3CL 抑製劑和非抑製劑在t- SNE 圖中很好分離,如下圖b 。
另外,ImageMol 鑑定出16 種已知3CL 蛋白酶抑制劑中的10 種,並將這10 種藥物視覺化到圖中的包埋空間(成功率62.5%) ,顯示在抗SARS-CoV-2 藥物發現中具有較高的泛化能力。使用HEY293 測定來預測抗SARS-CoV-2 可再利用藥物時,ImageMol 成功預測了70 種藥物中的42 種(成功率為60%),這表明ImageMol 在推斷HEY293 測定中的潛在候選藥物方面也具有很高的推廣性。下圖 c 展示了 ImageMol 在 DrugBank 資料集上發現 3CL 潛在抑制劑的藥物。圖 d 展示了 ImageMol 發現的 3CL 抑制劑的分子結構。
注意力視覺化
ImageMol 可以從分子影像表示法中獲得化學資訊的先驗知識,包括= O 鍵、 -OH 鍵、-NH3 鍵和苯環。圖 b 和 c 為 ImageMol 的 Grad-CAM 視覺化的 12 個範例分子。這表示 ImageMol 同時準確地對全局 (b) 和局部 (c) 結構資訊進行注意捕獲,這些結果使研究人員能夠在視覺上直觀地理解分子結構是如何影響性質和靶點。
以上是介紹全球首個基於自監督學習的分子影像生成框架ImageMol的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

想像一下,一個人工智慧模型,不僅擁有超越傳統運算的能力,還能以更低的成本實現更有效率的效能。這不是科幻,DeepSeek-V2[1],全球最強開源MoE模型來了。 DeepSeek-V2是一個強大的專家混合(MoE)語言模型,具有訓練經濟、推理高效的特點。它由236B個參數組成,其中21B個參數用於啟動每個標記。與DeepSeek67B相比,DeepSeek-V2效能更強,同時節省了42.5%的訓練成本,減少了93.3%的KV緩存,最大生成吞吐量提高到5.76倍。 DeepSeek是一家探索通用人工智

AI,的確正在改變數學。最近,一直十分關注這個議題的陶哲軒,轉發了最近一期的《美國數學學會通報》(BulletinoftheAmericanMathematicalSociety)。圍繞著「機器會改變數學嗎?」這個話題,許多數學家發表了自己的觀點,全程火花四射,內容硬核,精彩紛呈。作者陣容強大,包括菲爾茲獎得主AkshayVenkatesh、華裔數學家鄭樂雋、紐大電腦科學家ErnestDavis等多位業界知名學者。 AI的世界已經發生了天翻地覆的變化,要知道,其中許多文章是在一年前提交的,而在這一

谷歌力推的JAX在最近的基準測試中表現已經超過Pytorch和TensorFlow,7項指標排名第一。而且測試並不是JAX性能表現最好的TPU上完成的。雖然現在在開發者中,Pytorch依然比Tensorflow更受歡迎。但未來,也許有更多的大型模型會基於JAX平台進行訓練和運行。模型最近,Keras團隊為三個後端(TensorFlow、JAX、PyTorch)與原生PyTorch實作以及搭配TensorFlow的Keras2進行了基準測試。首先,他們為生成式和非生成式人工智慧任務選擇了一組主流

波士頓動力Atlas,正式進入電動機器人時代!昨天,液壓Atlas剛「含淚」退出歷史舞台,今天波士頓動力就宣布:電動Atlas上崗。看來,在商用人形機器人領域,波士頓動力是下定決心要跟特斯拉硬剛一把了。新影片放出後,短短十幾小時內,就已經有一百多萬觀看。舊人離去,新角色登場,這是歷史的必然。毫無疑問,今年是人形機器人的爆發年。網友銳評:機器人的進步,讓今年看起來像人類的開幕式動作、自由度遠超人類,但這真不是恐怖片?影片一開始,Atlas平靜地躺在地上,看起來應該是仰面朝天。接下來,讓人驚掉下巴

本月初,來自MIT等機構的研究者提出了一種非常有潛力的MLP替代方法—KAN。 KAN在準確性和可解釋性方面表現優於MLP。而且它能以非常少的參數量勝過以更大參數量運行的MLP。例如,作者表示,他們用KAN以更小的網路和更高的自動化程度重現了DeepMind的結果。具體來說,DeepMind的MLP有大約300,000個參數,而KAN只有約200個參數。 KAN與MLP一樣具有強大的數學基礎,MLP基於通用逼近定理,而KAN基於Kolmogorov-Arnold表示定理。如下圖所示,KAN在邊上具

特斯拉機器人Optimus最新影片出爐,已經可以在工廠裡打工了。正常速度下,它分揀電池(特斯拉的4680電池)是這樣的:官方還放出了20倍速下的樣子——在小小的「工位」上,揀啊揀啊揀:這次放出的影片亮點之一在於Optimus在廠子裡完成這項工作,是完全自主的,全程沒有人為的干預。而且在Optimus的視角之下,它還可以把放歪了的電池重新撿起來放置,主打一個自動糾錯:對於Optimus的手,英偉達科學家JimFan給出了高度的評價:Optimus的手是全球五指機器人裡最靈巧的之一。它的手不僅有觸覺

這篇論文探討了在自動駕駛中,從不同視角(如透視圖和鳥瞰圖)準確檢測物體的問題,特別是如何有效地從透視圖(PV)到鳥瞰圖(BEV)空間轉換特徵,這一轉換是透過視覺轉換(VT)模組實施的。現有的方法大致分為兩種策略:2D到3D和3D到2D轉換。 2D到3D的方法透過預測深度機率來提升密集的2D特徵,但深度預測的固有不確定性,尤其是在遠處區域,可能會引入不準確性。而3D到2D的方法通常使用3D查詢來採樣2D特徵,並透過Transformer學習3D和2D特徵之間對應關係的注意力權重,這增加了計算和部署的

寫在前面項目連結:https://nianticlabs.github.io/mickey/給定兩張圖片,可以透過建立圖片之間的對應關係來估計它們之間的相機姿態。通常,這些對應關係是二維到二維的,而我們估計的姿態在尺度上是不確定的。一些應用,例如隨時隨地實現即時增強現實,需要尺度度量的姿態估計,因此它們依賴外部的深度估計器來恢復尺度。本文提出了MicKey,這是一個關鍵點匹配流程,能夠夠預測三維相機空間中的度量對應關係。透過學習跨影像的三維座標匹配,我們能夠在沒有深度測試的情況下推斷度量相對
