오픈 소스! 홍콩 중국인, MIT, 푸단이 최초의 RNA 초석 모델 제안

단백질 분야와 달리 RNA 분야의 연구는 충분한 주석 데이터가 부족한 경우가 많습니다. 예를 들어 3D 데이터에는 1,000개 이상의 RNA만 있습니다. 이는 RNA 구조-기능 예측 작업에서 기계 학습 방법의 개발을 크게 제한합니다.

주석이 있는 데이터의 부족함을 보완하기 위해 이 기사에서는 다양한 유형의 RNA 연구에 풍부한 구조적, 기능적 지식을 제공할 수 있는 초석 모델인 RNA 기초 모델(RNA-FM)을 보여줍니다. 2,300만 개의 라벨이 지정되지 않은 RNA 서열을 기반으로 감독되지 않은 방식으로 훈련된 세계 최초의 RNA 초석 모델인 RNA-FM은 RNA 서열에 포함된 진화 및 구조적 패턴을 마이닝합니다.

RNA-FM은 단순한 다운스트림 모델만 일치시키거나 임베딩만 제공하면 되며 2차 구조 예측 20% 개선, 거리 개선 등 많은 다운스트림 작업에서 SOTA보다 훨씬 더 나은 성능을 달성할 수 있다는 점은 주목할 가치가 있습니다. 지도 예측은 30% 향상될 수 있습니다. 대규모 실험을 통해 이 모델이 고도로 일반화 가능하며 코로나19 및 mRNA의 조절 단편에도 사용될 수 있음이 입증되었습니다.

​

• 논문 사전 인쇄: https://arxiv.org/abs/2204.00300
• 코드 및 모델: https://github.com/ml4bio/RNA - FM
• Server: https://proj.cse.cuhk.edu.hk/rnafm

Introduction

최근 몇 년 동안 딥러닝을 기반으로 한 생물학적 컴퓨팅 방법이 이 분야에서 획기적인 발전을 이루었습니다. 가장 유명한 이정표는 Google DeepMind 팀이 개발한 엔드투엔드 단백질 3D 구조 예측 프레임워크 AlphaFold2입니다. 그러나 단백질은 많은 생물학적 분자 중 한 유형일 뿐이며, 단백질 생산의 원천인 유전자(DNA/RNA)는 후자보다 더 많은 기본 정보를 포함하고 있으며 더 중요한 연구 가치를 가지고 있습니다.

일반적으로 단백질은 코딩에 사용되는 RNA, 즉 고정된 mRNA가 고정된 단백질 서열로 번역되는 산물입니다. 실제로 코딩 RNA의 이 부분은 전체 RNA 서열의 2%만을 차지하고 나머지 98%는 비코딩 RNA(ncRNA)입니다. ncRNA는 단백질로 직접 "번역"되지는 않지만 특정 기능을 가진 3차 구조로 접히고 mRNA의 번역 과정이나 기타 생물학적 기능에서 조절 역할을 합니다. 따라서 ncRNA의 구조와 기능을 분석하는 것은 단백질 분석보다 더 기본적이고 복잡한 연구이다.

그러나 계산 방법이 보다 성숙한 단백질 분야에 비해 RNA 기반의 구조 및 기능 예측은 아직 초기 단계이며, 원래 단백질 분야에 적용 가능한 계산 방법은 RNA 분야로 직접 이전하기가 어렵습니다. . 이러한 계산 방법의 주요 한계는 일반적으로 RNA 데이터의 주석을 얻기가 어렵고, 적은 양의 데이터에 대한 주석을 완료하는 데 많은 실험 자원과 시간이 필요하다는 것입니다. 감독을 통해 높은 성과를 달성합니다. 비록 주석이 달린 데이터는 많지 않지만, RNA 분야에서는 실제로 주석이 없는 서열 데이터가 많이 축적되어 있다. 이 문서의 방법은 이러한 레이블이 지정되지 않은 데이터를 사용하여 다양한 다운스트림 작업에 대한 효과적인 추가 정보를 제공하는 것입니다.

이러한 고려 사항을 바탕으로 홍콩 중국인, MIT, 푸단 및 상하이 인공 지능 연구소 팀은 2,300만 개의 라벨이 지정되지 않은 순수 RNA 서열을 감독되지 않은 방식으로 훈련시킨 기초 모델 RNA 기초 모델(RNA-FM)을 제안했습니다. . 데이터가 훈련 과정 동안 주석 정보를 제공하지 않지만, RNA-FM은 여전히 ​​감독되지 않은 방식으로 이러한 RNA 서열에 포함된 진화 및 구조적 패턴을 마이닝합니다.

RNA-FM이 다운스트림 RNA 구조 및 기능 예측 작업에 효과적으로 적용될 수 있다면 이러한 컴퓨팅 방법은 RNA-FM으로 요약된 지식의 이점을 확실히 활용하여 성능을 향상시킬 수 있습니다. RNA-FM의 업스트림 사전 훈련과 다운스트림 마이그레이션 및 적용 프레임워크는 아래 그림에 나와 있습니다.

연구 개요

미리 훈련된 RNA-FM이 라벨링되지 않은 대량의 데이터로부터 '지식'을 학습했는지, 어떤 '지식'을 학습했는지 확인하기 위해 기사 일련의 임베딩 테스트 분석 을 수행했습니다.

먼저 다양한 특징에 대한 간단한 클러스터링 비교를 UMAP을 통해 직접 수행한 결과, 사전 훈련된 RNA-FM의 임베딩이 다른 임베딩보다 더 명확한 RNA 종 클러스터를 형성하는 것으로 나타났습니다. 이는 RNA-FM의 삽입이 RNA 종을 구별하기 위한 구조적 또는 기능적 정보를 포함하고 있음을 의미합니다.

그런 다음, 기사에서는 궤적 추론을 사용하여 RNA-FM 임베딩을 통해 다양한 종의 lncRNA 진화를 예측합니다. 아래 흐름도에서 예측된 종 간 진화의 유사 시간은 실제 종의 진화 정보와 대략 일치하며, 이는 RNA-FM 임베딩에도 진화 정보의 일부가 포함되어 있음을 나타냅니다.

RNA 종의 공동체 정보이든 lncRNA의 진화 정보이든, RNA-FM은 훈련 중에 이러한 라벨에 직접 노출되지 않았다는 점에 주목할 가치가 있습니다. RNA-FM은 완전히 자기 감독 방식으로 순수 서열에서 구조, 기능 및 진화와 관련된 패턴을 발견합니다.

더 많은 실험 결과

RNA-FM의 삽입을 직접 분석하는 것 외에도 이 기사에서는 2차 구조, 접촉 예측, 거리 예측, 3차 구조 예측이 모두 상당한 개선을 이루었습니다.

특히 2차 구조 예측에서 기사는 RNA-FM을 백본으로 사용하고 간단한 ResNet 네트워크만 다운스트림 모델로 사용하여 두 개의 공개 데이터 세트에서 다른 12개의 최신 상태를 능가합니다. F1score에서 최고의 UFold보다 3~5% 포인트 더 좋습니다. UFold와의 정면 비교에서 RNA-FM은 대부분의 RNA 범주에서 UFold를 능가합니다. RNA-FM을 E2Efold와 결합하면 추가로 5% 성능 향상을 달성할 수 있습니다.

모델의 실제 적용 가치를 검증하기 위해 기사 에서는 RNA-FM을 사용하여 코로나19를 정확하게 예측하기 위해 RNA-FM을 사용하는 것을 포함하여 코로나19 데이터에 대한 완전한 분석을 수행합니다. -19 참조 게놈(29870nt) 주요 조절 요소를 사용하고 RNA-FM 임베딩을 사용하여 주요 코로나19 변종의 진화 추세를 대략적으로 예측합니다.

일반적으로 말하면, 분자의 구조가 그 기능을 결정합니다. RNA-FM은 RNA 구조 예측 작업을 훌륭하게 완료할 수 있는데, RNA-FM을 사용하여 기능 예측 결과도 향상시킬 수 있나요?

따라서 기사 에서는 RNA-FM 임베딩을 사용하여 RNA-단백질 역할을 예측하는 등 다운스트림 RNA 기능 예측 작업에 RNA-FM을 도입하려고 추가로 시도합니다.

RNA-FM 임베딩의 도입으로 모델의 성능이 향상되었음을 실험을 통해 입증했으며, 경우에 따라 실제 2차 구조 정보를 입력과 일치하는 예측 결과를 달성하기도 했습니다.

ncRNA 훈련을 기반으로 한 RNA-FM이 다른 RNA에도 일반화될 수 있는지 알아보기 위해 기사에서는 마침내 RNA-FM을 사용하여 5'UTR을 기반으로 한 단백질 발현 기능을 예측하려고 시도합니다. mRNA에. mRNA는 ncRNA에 속하지 않지만 그 위에 있는 5'UTR은 번역되지는 않지만 조절 기능을 하는 영역으로, 이는 ncRNA의 특성과 일치하며 훈련 데이터에는 나타나지 않습니다.

아래 그림에서 볼 수 있듯이 RNA-FM 임베딩을 포함하는 모델은 그렇지 않은 모델보다 항상 우수합니다. 성능 향상은 상대적으로 제한적이지만 RNA-FM도 비-ncRNA 데이터에 대한 특정 일반화 능력을 가지고 있음을 부분적으로 보여줍니다.

결론

일반적으로 이 기사에서는 레이블이 지정되지 않은 RNA 서열 데이터로 언어 모델 RNA-FM을 사전 훈련하고 직접 또는 간접적인 방법을 통해 구조나 기능과 같은 일련의 다양한 작업에 대해 포괄적인 검증을 수행하여 RNA가임을 증명합니다. -FM은 실제로 다운스트림 작업에서 컴퓨팅 방법의 성능을 효과적으로 향상시킬 수 있습니다.

RNA-FM의 출현으로 RNA 주석이 달린 데이터의 현재 상황이 어느 정도 완화되었으며, 다른 연구자들이 라벨이 없는 대량의 데이터에 접근할 수 있는 편리한 인터페이스를 제공하게 되면서 RNA 분야의 기본 모델이 될 것입니다. . 이 분야의 다양한 연구에 대한 강력한 지원과 도움을 제공합니다.

저자 소개

이 글의 공동 제1저자는 2명입니다. Chen Jiayang은 홍콩중문대학교의 연구 조교입니다. Hu Zhihang은 홍콩 중문 대학교의 박사 과정 후보자입니다.

이 기사에는 교신저자가 2명 있습니다. 푸단대학교 지능형 복합 시스템 연구소 및 상하이 인공 지능 연구소의 젊은 연구원 Sun Siqi, 홈페이지 https://intersun.github.io.

Li Yu, 홍콩 중문 대학교 조교수, MIT James Collins 연구소 객원 조교수, MIT 및 Harvard의 Broad Institute 연구 과학자, Harvard University Wyss Institute 객원 학자, Forbes 30 Under 30 아시아 목록 – 2022년 클래스, 의료 및 과학. 홈페이지: https://liyu95.com.

위 내용은 오픈 소스! 홍콩 중국인, MIT, 푸단이 최초의 RNA 초석 모델 제안의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!