예측 정확도는 0.98에 달합니다. Tsinghua University, Shenzhen Technology 등은 Transformer를 기반으로 하는 MOF 재료에 대한 다기능 예측 프레임워크를 제안했습니다.

편집자 |

분자 역학과 같은 기존 시뮬레이션 방법은 복잡하고 계산이 까다롭지만 시스템 동작을 시뮬레이션하는 데 매우 정확합니다. 대조적으로, 기능 엔지니어링을 기반으로 하는 기계 학습 방법은 복잡한 시스템을 처리할 때 더 나은 성능을 발휘합니다. 그러나 레이블이 지정된 데이터가 부족하기 때문에 쉽게 과적합 문제가 발생할 수 있습니다. 또한 이러한 기계 학습 방법은 일반적으로 단일 작업을 해결하도록 설계되었으며 다중 작업 학습에 대한 지원이 부족합니다. 따라서 적절한 방법을 선택할 때 특정 문제에 가장 적합한 솔루션을 찾기 위해 정확도, 데이터 요구 사항 및 작업 복잡성과 같은 요소를 고려해야 합니다.

이러한 과제를 해결하기 위해 칭화대학교, 캘리포니아대학교, 중산대학교, 쑤저우대학교, 심천기술대학교, AI for Science Institute(베이징, AISI)로 구성된 다중 기관 팀이 공동으로 Uni-MOF를 제안했습니다. 대규모 3D MOF 표현 학습을 위한 혁신적인 프레임워크는 다목적 가스 예측을 위해 설계되었습니다. Uni-MOF는 과학 연구와 실제 응용 분야 모두에 적합합니다.

Uni-MOF는 MOF 재료에 대한 다기능 가스 흡착 예측기로 간주될 수 있으며, 시뮬레이션 데이터에서 탁월한 예측 정확도를 보여 가스 흡착 연구에서 기계 학습의 중요한 적용을 나타냅니다.

이 연구의 제목은 "금속-유기 구조의 고정밀 가스 흡착 예측을 위한 포괄적인 변압기 기반 접근 방식"이며 2024년 3월 1일 "Nature Communications"에 게재되었습니다.

논문 링크: https://www.nature.com/articles/s41467-024-46276-x

통합 흡착 프레임워크가 필요합니다.

조정 가능한 구조적 특성으로 인해 금속-유기 프레임워크(MOF) 화학 성분은 가스 분리와 같은 분야에서 널리 사용됩니다.

MOF는 가스 흡착에 대한 잠재력이 크지만 흡착 용량을 정확하게 예측하는 것은 여전히 ​​어려운 일입니다.

분자 역학 및 몬테카를로(MC)와 같은 계산 방법은 계산 비용이 높고 구현이 복잡하여 대규모, 다중 가스 및 높은 처리량 계산에 사용이 제한됩니다. 또한 가스 흡착은 광범위한 조건에서 작동하므로 예측이 더욱 복잡해집니다.

그래프 신경망과 Transformer는 MOF 속성을 성공적으로 예측하는 것으로 나타났습니다.

기존 흡착 특성 예측 모델은 고성능과 강력한 예측 능력을 갖추고 있지만 일반적으로 단일 작업, 특히 특정 조건에서 특정 가스의 흡착 흡수율을 예측하도록 설계됩니다. 그러나 이러한 단일 작업 예측에 사용 가능한 데이터 세트는 종종 제한되어 모델의 일반화를 방해합니다.

한편, 다양한 온도 및 압력 환경에서 다양한 흡착 가스의 라벨링된 데이터를 결합하면 전체 작동 조건에 대한 교육에 적합한 대규모 데이터 세트를 생성할 수 있습니다. 데이터 양이 증가하면 모델의 일반화 기능이 향상되고 실제 산업 활용도 향상될 수 있습니다. 따라서 이러한 모델을 발전시키기 위해서는 통합된 흡착 프레임워크가 필요합니다.

또한 대규모의 레이블이 지정되지 않은 MOF 구조에 대한 앙상블 표현 학습 또는 사전 훈련을 통해 모델 성능과 표현 기능을 더욱 향상시킬 수 있습니다.

Uni-MOF 프레임워크: 과학 연구와 실제 응용 모두에 적합합니다.

이에 영감을 받아 연구팀은 구조 표현 학습을 사용하여 다양한 조건에서 MOF의 가스 흡착을 예측하는 다목적 솔루션으로 Uni-MOF 프레임워크를 제안했습니다.

다른 Transformer 기반 모델(예: MOFormer 및 MOFTransformer)과 비교하여 Uni-MOF는 Transformer 기반 프레임워크로서 사전 훈련에서 나노다공성 물질의 3차원 구조를 식별하고 복원할 수 있을 뿐만 아니라 크게 향상됩니다. 나노다공성 재료의 성능. 또한 미세 조정 작업에서는 온도, 압력 및 다양한 가스 분자와 같은 작동 조건을 추가로 고려하므로 Uni-MOF는 과학 연구와 실제 응용 분야 모두에 적합합니다.

Uni-MOF는 MOF 재료에 대한 종합적인 가스 흡착 추정기로서 MOF의 결정 정보 파일(CIF)과 관련 가스, 온도 및 압력 매개변수만 있으면 광범위한 범위에서 나노다공성 재료의 가스 흡착 특성을 예측할 수 있습니다. 작동 조건. Uni-MOF 프레임워크는 사용하기 쉽고 모듈 선택이 가능합니다.

또한 다양한 교차 시스템 흡수 레이블 데이터와 레이블이 지정되지 않은 대량 구조 데이터의 표현 학습을 결합하여 과적합 문제를 효과적으로 해결합니다. 이는 고품질 데이터와 데이터 부족을 모두 보완하여 궁극적으로 가스 흡착 예측의 정확성을 향상시킵니다.

Uni-MOF 프레임워크는 원자 수준의 재료 식별 정확도를 지원하는 동시에 통합 모델을 통해 Uni-MOF를 엔지니어링 문제에 더 효과적으로 적용할 수 있습니다. 특정 분야에만 집중하는 것이 아니라, 진정한 통일된 모델을 구현하는 것이 소재 분야의 미래 방향임에는 의심의 여지가 없습니다. Uni-MOF는 가스 흡착 분야에서 기계 학습의 선구적인 사례입니다.

Uni-MOF 프레임워크 개요

Uni-MOF 프레임워크에는 3차원 나노다공성 결정의 사전 훈련과 다운스트림 애플리케이션의 다중 작업 예측 미세 조정이 포함됩니다.

그림 1: Uni-MOF 프레임워크의 개략도. (출처: 논문)

3D 결정질 재료에 대한 사전 훈련은 특히 레이블이 지정되지 않은 대규모 데이터의 경우 다운스트림 작업의 예측 성능을 크게 향상시킵니다.

훈련 데이터 세트에 대한 감독이 부족한 문제를 해결하기 위해 연구원들은 ToBaCCo.3.0을 사용하여 수많은 MOF 구조 데이터 세트를 수집하고 300,000개 이상의 MOF를 생성했습니다. Materials Genome Strategies 및 Quasi-Reactive Assembly Algorithm(QReaxAA)을 기반으로 한 COF의 높은 처리량 구성은 포괄적인 COF 라이브러리를 구축하는 데 가능합니다. Uni-MOF는 물질의 공간적 구성을 통해 물질의 구조적 특성을 잘 학습할 수 있으며, 가장 중요한 것은 화학결합 정보입니다.

Uni-MOF가 더욱 다양한 재료를 학습하여 더 넓은 범위의 재료에 대한 일반화 능력을 향상시킬 수 있도록 사전 학습 과정에서 MOF와 COF를 가상 및 실험적으로 도입했습니다. BERT 및 Uni-Mol의 마스크 라벨링 작업과 유사하게 Uni-MOF는 마스크 원자의 예측 작업을 채택하여 사전 훈련된 모델이 물질 공간 구조에 대한 심층적인 이해를 얻을 수 있도록 합니다.

사전 훈련의 견고성을 강화하고 학습된 표현을 일반화하기 위해 연구원들은 MOF의 원래 좌표에 노이즈를 도입했습니다. 사전 훈련 단계에서는 두 가지 작업이 설계됩니다. (1) 잡음이 있는 데이터로부터 원래의 3D 위치를 재구성하고, (2) 차폐된 원자를 예측합니다. 이러한 작업은 모델 견고성을 강화하고 다운스트림 예측 성능을 향상시킬 수 있습니다.

다양한 공간 구성 외에도 포괄적인 재료 특성 데이터 포인트 세트도 모델 훈련에 중요합니다. 데이터세트를 강화하기 위해 연구원들은 맞춤형 데이터 생성 프로세스를 확립했습니다(그림 1b 참조).

Uni-MOF의 미세 조정은 사전 훈련을 통해 얻은 표현의 추출과 대규모 데이터 세트를 생성 및 수집하기 위한 자체 제작 워크플로 사용을 기반으로 합니다. 미세 조정 과정에서 MOF 및 COF에 대한 다양한 흡착 조건에서 약 3,000,000개의 레이블이 지정된 데이터 포인트를 사용하여 모델을 훈련하여 흡착 용량을 정확하게 예측할 수 있었습니다.

다양한 교차 시스템 대상 데이터 데이터베이스를 통해 미세 조정된 Uni-MOF는 모든 상태에서 MOF의 다중 시스템 흡착 특성을 예측할 수 있습니다. 따라서 Uni-MOF는 MOF 흡착제의 흡착 성능을 예측하기 위한 통합되고 사용하기 쉬운 프레임워크입니다.

무엇보다도 Uni-MOF는 인간이 정의한 구조적 특징을 식별하는 데 추가 작업이 필요하지 않습니다. 대신 MOF의 CIF와 관련 가스, 온도 및 압력 매개변수이면 충분합니다. 자기 지도 학습 전략과 풍부한 데이터베이스를 통해 Uni-MOF는 다양한 작동 매개변수에서 나노다공성 재료의 가스 흡착 특성을 예측할 수 있으므로 MOF 재료에 대한 가스 흡착을 능숙하게 평가할 수 있습니다.

최대 0.98의 예측 정확도, 시스템 전반에 걸쳐 예측

이 연구는 최대 0.98의 예측 정확도로 631,000개 이상의 MOF 및 COF 데이터베이스에서 자기 지도 학습을 수행했습니다. 이는 3D 사전 훈련을 기반으로 한 표현 학습 프레임워크가 과적합을 피하면서 MOF의 복잡한 구조 정보를 효과적으로 학습한다는 것을 보여줍니다.

Uni-MOF를 사용하여 세 가지 주요 데이터베이스(hMOF_MOFX-DB, CoRE_MOFX-DB 및 CoRE_MAP_DB)의 가스 흡착 성능을 예측하고, 충분한 데이터가 있는 데이터베이스에서 최대 0.98의 예측 정확도를 달성합니다.

그림 2: 대규모 데이터베이스에서 Uni-MOF의 전반적인 성능. (출처: 논문)

데이터 세트를 완전히 샘플링하면 Uni-MOF는 0.83 이상의 예측 정확도를 유지할 뿐만 아니라 저압에서의 흡착 예측만으로도 고압에서 고성능 흡착제를 정확하게 선택할 수 있습니다. 실험적 선별 결과는 일관됩니다. 따라서 Uni-MOF는 재료 과학 분야의 기계 학습 기술 적용에 있어 획기적인 발전을 의미합니다.

그림 3: 저압 예측과 고압 실험 값을 기반으로 한 흡착 등온선, 각 곡선은 Langmuir 맞춤을 나타냅니다. (출처: 논문)

또한 Uni-MOF 프레임워크는 단일 시스템 작업에 비해 교차 시스템 데이터 세트에서 우수한 성능을 나타내며 0.85의 높은 예측 정확도로 알려지지 않은 가스의 흡착 특성을 정확하게 예측할 수 있습니다. 강력한 예측력과 다양성을 보여줍니다.

그림 4: Uni-MOF 교차 시스템 예측 사례. (출처: 논문)

연구에 따르면 사전 훈련된 자기 지도 학습 전략은 Uni-MOF의 견고성과 다운스트림 예측 성능을 효과적으로 향상시킬 수 있습니다.

그림 5: 사전 훈련이 없는 Uni-MOF와 Uni-MOF 비교. (출처: 논문)

Uni-MOF는 3차원 구조에 대한 광범위한 사전 학습을 통해 MOF의 구조적 특징을 효과적으로 학습하여 hMOF에 대해 0.99의 높은 결정 계수를 달성합니다.

그림 6: 구조적 특성 예측 및 분석. (출처: 논문)

또한 t-SNE(t-distributed stochastic neighbor embedding) 분석을 통해 미세 조정 단계에서 구조적 특징을 추가로 학습할 수 있고 다양한 흡착 행동을 갖는 구조를 잘 식별할 수 있음을 확인하여 학습된 표현이 있음을 나타냅니다. 가스 흡착 목표와 강한 상관관계가 있습니다.

그림 7: hMOF 및 CoRE_MOF 데이터 세트의 MOF 구조 표현 시각화, t-SNE 방법으로 계산된 저차원 임베딩. (출처: 논문)

요약하면 Uni-MOF 프레임워크는 MOF 재료에 대한 다기능 예측 플랫폼 역할을 하며 현장에서 다양한 작동 조건에서 가스 흡착을 예측하는 데 높은 정확도로 MOF에 대한 가스 흡착 추정기 역할을 합니다. 재료 과학의 응용 가능성이 넓습니다.

위 내용은 예측 정확도는 0.98에 달합니다. Tsinghua University, Shenzhen Technology 등은 Transformer를 기반으로 하는 MOF 재료에 대한 다기능 예측 프레임워크를 제안했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!