予測精度は 0.98 と高く、清華大学、深セン科技などが Transformer に基づく MOF 材料の多機能予測フレームワークを提案しました。-AI-php.cn

予測精度は 0.98 と高く、清華大学、深セン科技などが Transformer に基づく MOF 材料の多機能予測フレームワークを提案しました。

編集者| 大きな可能性を秘めています。

分子動力学などの従来のシミュレーション手法は、複雑で計算量が多くなりますが、システム動作のシミュレーションにおいては非常に正確です。対照的に、特徴量エンジニアリングに基づく機械学習手法は、複雑なシステムを扱う場合に優れたパフォーマンスを発揮しますが、ラベル付きデータが不足しているため、簡単に過剰適合の問題が発生する可能性があります。さらに、これらの機械学習手法は通常、単一のタスクを解決するように設計されており、マルチタスク学習はサポートされていません。したがって、適切な方法を選択するときは、精度、データ要件、タスクの複雑さなどの要素を比較検討して、特定の問題に最適なソリューションを見つける必要があります。

これらの課題に対処するために、清華大学、カリフォルニア大学、中山大学、蘇州大学、深センテクノロジー、AI for Science Institute (AISI、北京) で構成される多機関チームが協力し、現在、 MOF は、多目的ガス予測のために設計された、大規模な 3 次元 MOF 表現学習のための革新的なフレームワークです。 Uni-MOF は、科学研究と実用的なアプリケーションの両方に適しています。

Uni-MOF は、MOF 材料の多機能ガス吸着予測器とみなすことができ、シミュレーションデータで優れた予測精度を示し、ガス吸着研究における機械学習の重要な応用を示しています。

この研究は「金属有機骨格における高精度ガス吸着予測のための包括的な変圧器ベースのアプローチ」と題され、2024 年 3 月 1 日に「Nature Communications」に掲載されました。

予測精度は 0.98 と高く、清華大学、深セン科技などが Transformer に基づく MOF 材料の多機能予測フレームワークを提案しました。論文リンク: https://www.nature.com/articles/s41467-024-46276-xxx

統合された吸着フレームワークが必要

金属有機フレームワーク (MOF) は、構造特性と化学組成を調整できるため、ガス分離やその他の分野で広く使用されています。

MOF にはガス吸着の大きな可能性がありますが、その吸着能力を正確に予測することは依然として課題です。

分子動力学やモンテカルロ (MC) などの計算手法は、計算コストが高く実装が複雑であるため、大規模、マルチガス、ハイスループットの計算での使用が制限されます。さらに、ガス吸着は広範囲の条件で作用するため、予測がより複雑になります。

グラフニューラルネットワークとトランスフォーマーは、MOF プロパティを適切に予測することが示されています。

吸着特性を予測するための既存のモデルは高性能で強力な予測機能を備えていますが、通常は単一のタスク、具体的には特定の条件下での特定のガスの吸着吸収率を予測するために設計されています。ただし、これらの単一タスクの予測に利用できるデータセットは多くの場合制限されており、モデルの一般化が妨げられています。

一方、異なる温度と圧力環境におけるさまざまな吸着ガスからのラベル付きデータを組み合わせると、動作条件全体にわたるトレーニングに適した大規模なデータセットを作成できます。データ量の増加により、モデルの一般化機能も強化され、実際の産業用途が向上します。したがって、これらのモデルを発展させるには、統一された吸着フレームワークが必要です。

さらに、大規模なラベルなし MOF 構造のアンサンブル表現学習、つまり事前トレーニングにより、モデルのパフォーマンスと表現機能をさらに向上させることができます。

Uni-MOF フレームワーク: 科学研究と実用的なアプリケーションの両方に適しています

これに触発されて、研究チームは、構造表現学習を使用する多目的ソリューションとして Uni-MOF フレームワークを提案しました。さまざまな条件下での MOF のガス吸着を予測します。

他の Transformer ベースのモデル (MOFormer や MOFTransformer など) と比較すると、Uni-MOF は Transformer ベースのフレームワークとして、事前トレーニングでナノ多孔質材料の 3 次元構造を特定して復元できるだけでなく、したがって、ナノ多孔質材料の堅牢性が大幅に向上します。さらに、微調整タスクでは温度、圧力、さまざまなガス分子などの動作条件が考慮されるため、Uni-MOF は科学研究と実用アプリケーションの両方に適しています。

Uni-MOF MOF 材料の包括的なガス吸着推定ツールとして、MOF の結晶情報ファイル (CIF) および関連するガス、温度、圧力パラメータのみが、幅広い動作範囲でのナノ多孔質材料の予測に必要です。条件、ガス吸着特性、 Uni-MOF フレームワークは使いやすく、モジュールを選択できます。

さらに、過剰適合の問題は、さまざまなシステム間吸収ラベル付きデータと大量のラベルなし構造データの表現学習を組み合わせることで効果的に解決されます。これにより、高品質のデータとデータの欠陥の両方が補われ、最終的にはガス吸着予測の精度が向上します。

Uni-MOF フレームワークにより、原子レベルの材料識別精度が可能になる一方、統合モデルにより Uni-MOF は工学的問題への適用性が高まります。専門分野だけでなく、真に統一モデルを実現することが材料分野の今後の方向性であることは間違いありません。 Uni-MOF は、ガス吸着分野における機械学習の先駆的な実践です。

Uni-MOF フレームワークの概要

Uni-MOF フレームワークには、3 次元ナノ多孔質結晶の事前トレーニングと、下流アプリケーション向けのマルチタスク予測の微調整が含まれています。

予測精度は 0.98 と高く、清華大学、深セン科技などが Transformer に基づく MOF 材料の多機能予測フレームワークを提案しました。

図 1: Uni-MOF フレームワークの概略図。 (出典: 論文)

3D 結晶材料での事前トレーニングにより、下流タスク、特に大規模なラベルなしデータの予測パフォーマンスが大幅に向上します。

トレーニングデータセットの監視が不十分であるという問題を解決するために、研究者は MOF 構造の大規模なデータセットを収集し、ToBaCCo.3.0 を使用して 300,000 を超える MOF を生成しました。マテリアルズゲノムストラテジーと準反応性アセンブリアルゴリズム (QReaxAA) に基づく COF のハイスループット構築は、包括的な COF ライブラリを確立するために実現可能です。 Uni-MOF は、材料の空間構成を通じて材料の構造特性を十分に学習できます。最も重要なのは化学結合の情報です。

Uni-MOF がより多様な資料を学習し、より幅広い資料への汎化能力を向上できるようにするために、事前トレーニングプロセス中に MOF と COF が仮想的かつ実験的に導入されました。 BERT や Uni-Mol のマスクされたラベリングタスクと同様に、Uni-MOF はマスクされた原子の予測タスクを採用しており、それにより事前トレーニングされたモデルが物質の空間構造を深く理解することが容易になります。

事前トレーニングの堅牢性を強化し、学習された表現を一般化するために、研究者らは MOF の元の座標にノイズを導入しました。事前トレーニング段階では、2 つのタスクが設計されています。 (1) ノイズのあるデータから元の 3D 位置を再構成し、(2) 遮蔽された原子を予測します。これらのタスクにより、モデルの堅牢性が強化され、下流の予測パフォーマンスが向上します。

多様な空間構成に加えて、材料特性データポイントの包括的なセットもモデルのトレーニングには重要です。データセットを充実させるために、研究者らはカスタムデータ生成プロセスを確立しました (図 1b を参照)。

Uni-MOF の微調整は、事前トレーニングを通じて取得された表現の抽出と、大規模なデータセットを生成および収集するための自家製ワークフローの使用に基づいています。微調整プロセスでは、MOF および COF のさまざまな吸着条件下で約 3,000,000 個のラベル付きデータポイントを使用してモデルをトレーニングし、吸着容量の正確な予測を可能にしました。

Uni-MOF は、システム間ターゲットデータの多様なデータベースを使用して微調整され、あらゆる状態の MOF のマルチシステム吸着特性を予測します。したがって、Uni-MOF は、MOF 吸着剤の吸着性能を予測するための統一された使いやすいフレームワークです。

最も重要なことは、Uni-MOF では人間が定義した構造的特徴を特定するために追加の労力を必要としないことです。代わりに、MOF の CIF と関連するガス、温度、圧力パラメーターで十分です。自己教師あり学習戦略と豊富なデータベースにより、Uni-MOF はさまざまな動作パラメータの下でナノ多孔質材料のガス吸着特性を予測できることが保証され、MOF 材料のガス吸着の熟練した推定ツールとなります。

予測精度最大 0.98、システム全体で予測

この研究では、631,000 を超える MOF および COF のデータベースに対して自己教師あり学習を実行し、予測精度は最大 0.98 でした。これは、3D 事前トレーニングに基づく表現学習フレームワークが、過剰適合を回避しながら MOF の複雑な構造情報を効果的に学習していることを示しています。

Uni-MOF は、3 つの主要なデータベース (hMOF_MOFX-DB、CoRE_MOFX-DB、および CoRE_MAP_DB) のガス吸着性能を予測するために適用され、十分なデータを持つデータベースでは最大 0.98 の予測精度が達成されました。

予測精度は 0.98 と高く、清華大学、深セン科技などが Transformer に基づく MOF 材料の多機能予測フレームワークを提案しました。

#図 2: 大規模データベースにおける Uni-MOF の全体的なパフォーマンス。 (出典: 論文)

データセットが完全にサンプリングされている場合、Uni-MOF は 0.83 以上の予測精度を維持するだけでなく、低圧でのみ吸着を予測することで、高圧での高性能を正確に選択できます。 . 吸着剤、実験的スクリーニング結果と一致しています。したがって、Uni-MOF は、材料科学分野における機械学習技術の応用における大きな進歩となります。

予測精度は 0.98 と高く、清華大学、深セン科技などが Transformer に基づく MOF 材料の多機能予測フレームワークを提案しました。