Open Source! Hong Kong Chinese, MIT und Fudan schlagen das erste RNA-Grundsteinmodell vor

Im Gegensatz zum Proteinbereich mangelt es der Forschung im RNA-Bereich häufig an ausreichenden Annotationsdaten. Beispielsweise umfassen 3D-Daten nur mehr als 1.000 RNAs. Dies schränkt die Entwicklung maschineller Lernmethoden für Aufgaben zur Vorhersage von RNA-Struktur-Funktionen erheblich ein.

Um den Mangel an annotierten Daten auszugleichen, zeigt dieser Artikel ein Eckpfeilermodell, das umfassendes strukturelles und funktionelles Wissen für verschiedene Arten der RNA-Forschung liefern kann – das RNA-Grundlagenmodell (RNA-FM). Als weltweit erstes RNA-Ecksteinmodell, das unbeaufsichtigt auf der Grundlage von 23 Millionen unbeschrifteten RNA-Sequenzen trainiert wurde, untersucht RNA-FM die in RNA-Sequenzen enthaltenen evolutionären und strukturellen Muster.

Es ist erwähnenswert, dass RNA-FM nur einem einfachen Downstream-Modell entsprechen oder nur Einbettung ermöglichen muss und bei vielen Downstream-Aufgaben eine weitaus bessere Leistung als SOTA erzielen kann, beispielsweise bei der Verbesserung der Sekundärstrukturvorhersage um 20 % Die Kartenvorhersage kann um 30 % verbessert werden. Groß angelegte Experimente haben gezeigt, dass das Modell hochgradig generalisierbar ist und sogar für COVID-19 und regulatorische Fragmente der mRNA verwendet werden kann. ?? FM

Server: https://proj.cse.cuhk.edu.hk/rnafm

• EinführungIn den letzten Jahren haben auf Deep Learning basierende biologische Computermethoden Durchbrüche auf diesem Gebiet erzielt Der bekannteste Meilenstein ist das vom Google DeepMind-Team entwickelte End-to-End-Framework zur Vorhersage der 3D-Struktur von Proteinen AlphaFold2. Allerdings ist Protein nur eine Art von vielen biologischen Molekülen. Gene (DNA/RNA) enthalten als Quelle der Proteinproduktion mehr grundlegende Informationen als letztere und haben einen größeren Forschungswert.
• Im Allgemeinen sind Proteine ​​die Produkte der Translation von RNA, die zur Kodierung verwendet wird, d. h. mRNA. Eine feste mRNA kann in eine feste Proteinsequenz übersetzt werden. Tatsächlich macht dieser Teil der kodierenden RNA nur 2 % aller RNA-Sequenzen aus, und die restlichen 98 % sind nicht-kodierende RNA (ncRNA). Obwohl ncRNAs nicht direkt in Proteine ​​„übersetzt“ werden, falten sie sich zu Tertiärstrukturen mit spezifischen Funktionen und spielen eine regulatorische Rolle im Translationsprozess von mRNA oder anderen biologischen Funktionen. Daher ist die Analyse der Struktur und Funktion von ncRNA eine grundlegendere und komplexere Forschung als die Proteinanalyse.
Verglichen mit dem Proteinbereich, wo rechnerische Methoden ausgereifter sind, befindet sich die RNA-basierte Struktur- und Funktionsvorhersage jedoch noch in einem frühen Stadium, und rechnerische Methoden, die ursprünglich auf den Proteinbereich anwendbar waren, lassen sich nur schwer direkt auf den RNA-Bereich übertragen . Die Haupteinschränkung dieser Berechnungsmethoden besteht darin, dass die Annotation von RNA-Daten normalerweise schwierig zu erhalten ist und dass die Annotation einer kleinen Datenmenge viele experimentelle Ressourcen und Zeit erfordert. Die meisten Berechnungsmethoden erfordern eine große Menge an annotierter Daten für die Betreuung, um Höchstleistungen zu erbringen. Obwohl es nicht viele annotierte Daten gibt, hat das RNA-Feld tatsächlich viele nicht annotierte Sequenzdaten angesammelt. Die Methode dieses Artikels besteht darin, diese unbeschrifteten Daten zu verwenden, um zusätzliche effektive Informationen für verschiedene nachgelagerte Aufgaben bereitzustellen.
• Basierend auf dieser Überlegung schlugen
Hongkong Chinese, MIT, Fudan und Shanghai Artificial Intelligence Laboratory-Teams

ein Grundlagenmodell vor, ein RNA-Grundlagenmodell, das unbeaufsichtigt auf 23 Millionen unbeschrifteten reinen RNA-Sequenzen trainiert wurde (RNA-FM). . Obwohl die Daten während des Trainingsprozesses keine Annotationsinformationen liefern, ermittelt RNA-FM dennoch unbeaufsichtigt die in diesen RNA-Sequenzen enthaltenen evolutionären und strukturellen Muster.

Wenn RNA-FM effektiv auf nachgelagerte Aufgaben zur Vorhersage von RNA-Strukturen und -Funktionen angewendet werden kann, werden diese Berechnungsmethoden sicherlich von dem durch RNA-FM zusammengefassten Wissen profitieren und dadurch die Leistung verbessern. Das Upstream-Pre-Training und Downstream-Migrations- und Anwendungs-Framework von RNA-FM ist in der folgenden Abbildung dargestellt.

Forschungsübersicht

Um zu bestätigen, ob der vorab trainierte RNA-FM „Wissen“ aus einer großen Menge unbeschrifteter Daten gelernt hat und welche Art von „Wissen“ er gelernt hat, der Artikel

führte eine Reihe von Einbettungstests durch. Analyse .

Zuerst wurde ein einfacher Clustering-Vergleich verschiedener Merkmale direkt über UMAP durchgeführt und es wurde festgestellt, dass die Einbettungen aus vorab trainiertem RNA-FM offensichtlichere RNA-Spezies-Cluster bildeten als andere Einbettungen. Dies bedeutet, dass die Einbettung von RNA-FM strukturelle oder funktionelle Informationen zur Unterscheidung von RNA-Arten enthält.

Dann der Artikel verwendet auch Trajektorieninferenz, um die Entwicklung von lncRNA aus verschiedenen Arten durch RNA-FM-Einbettung vorherzusagen. Aus dem folgenden Streamplot geht hervor, dass die vorhergesagte Pseudozeit der Evolution zwischen den Arten in etwa mit den tatsächlichen Evolutionsinformationen der Arten übereinstimmt, was darauf hindeutet, dass die RNA-FM-Einbettung auch einen Teil der Evolutionsinformationen enthält.

Es ist erwähnenswert, dass RNA-FM diesen Markierungen während des Trainings nicht direkt ausgesetzt war, unabhängig davon, ob es sich um Gemeinschaftsinformationen über RNA-Arten oder um evolutionäre Informationen über lncRNA handelt. RNA-FM entdeckt Muster im Zusammenhang mit Struktur, Funktion und Evolution aus reinen Sequenzen auf völlig selbstüberwachte Weise. Weitere experimentelle Ergebnisse Kontaktvorhersage, Abstandsvorhersage und Tertiärstrukturvorhersage haben alle erhebliche Verbesserungen erzielt

.

Insbesondere bei der Vorhersage der Sekundärstruktur verwendet der Artikel RNA-FM als Rückgrat und nur ein einfaches ResNet-Netzwerk als Downstream-Modell und übertrifft damit 12 andere State-of-the-State-Methoden für zwei öffentliche Datensätze ist 3-5 Prozentpunkte besser als das beste UFold im F1score. Im direkten Vergleich mit UFold übertrifft RNA-FM UFold in den meisten RNA-Kategorien. Wird RNA-FM mit E2Efold kombiniert, kann eine weitere Leistungssteigerung von 5 % erreicht werden.

Um den praktischen Anwendungswert des Modells zu überprüfen, verwendet der Artikel RNA-FM, um eine vollständige Analyse der COVID-19-Daten durchzuführen, einschließlich der Verwendung von RNA-FM zur genauen Vorhersage von COVID -19-Referenzgenom (29870 nt) wichtige regulatorische Elemente und nutzen die RNA-FM-Einbettung, um die Evolutionstrends der wichtigsten COVID-19-Varianten grob vorherzusagen.

Im Allgemeinen bestimmt die Struktur eines Moleküls seine Funktion. Da RNA-FM die Aufgabe der RNA-Strukturvorhersage hervorragend erfüllen kann, kann RNA-FM auch zur Verbesserung der Ergebnisse der Funktionsvorhersage verwendet werden?

Daher wird in dem Artikel weiterhin versucht, RNA-FM in nachgelagerte Aufgaben zur Vorhersage von RNA-Funktionen einzuführen, beispielsweise die Verwendung der RNA-FM-Einbettung zur Vorhersage von RNA-Protein-Rollen.

Experimente haben gezeigt, dass die Einführung der RNA-FM-Einbettung die Leistung des Modells verbessert hat und in einigen Fällen Vorhersageergebnisse erzielt wurden, die mit echten Sekundärstrukturinformationen als Eingabe übereinstimmen.

Um zu untersuchen, ob RNA-FM basierend auf ncRNA-Training auf andere RNAs übertragen werden kann, versucht der Artikelabschließend, RNA-FM zu verwenden, um die Funktion der Proteinexpression basierend auf der 5'UTR vorherzusagen auf mRNA. Obwohl mRNA nicht zu ncRNA gehört, ist die 5'UTR darauf eine Region, die nicht translatiert wird, aber regulatorische Funktionen hat, was mit den Eigenschaften von ncRNA übereinstimmt und nicht in den Trainingsdaten erscheint.

Wie Sie der Abbildung unten entnehmen können, sind Modelle mit RNA-FM-Einbettung immer besser als Modelle ohne. Obwohl die Leistungsverbesserung relativ begrenzt ist, zeigt sie teilweise, dass RNA-FM auch eine gewisse Generalisierungsfähigkeit für Nicht-ncRNA-Daten besitzt.

Fazit

Im Allgemeinen verwendet dieser Artikel unbeschriftete RNA-Sequenzdaten, um das Sprachmodell RNA-FM vorab zu trainieren, und zwar durch direkte oder indirekte Methoden in der Struktur oder Umfassend Die Verifizierung einer Reihe verschiedener Aufgaben wie Funktionen hat gezeigt, dass RNA-FM tatsächlich die Leistung von Rechenmethoden in nachgelagerten Aufgaben effektiv verbessern kann.

Das Aufkommen von RNA-FM hat die aktuelle Situation RNA-annotierter Daten in gewissem Maße gemildert und anderen Forschern einen bequemen Zugang zu großen Mengen unbeschrifteter Daten ermöglicht Die Schnittstelle wird als Basismodell im RNA-Bereich dienen und verschiedene Forschungsarbeiten auf diesem Gebiet umfassend unterstützen und unterstützen.

Über den Autor

Dieser Artikel hat zwei Co-Erstautoren. Chen Jiayang ist wissenschaftlicher Mitarbeiter an der Chinesischen Universität Hongkong. Hu Zhihang ist Doktorand an der Chinesischen Universität Hongkong.

Es gibt zwei korrespondierende Autoren dieses Artikels. Sun Siqi, junger Forscher am Intelligent Complex Systems Laboratory der Fudan University und am Shanghai Artificial Intelligence Laboratory, Homepage https://intersun.github.io.

Li Yu, Assistenzprofessorin, Chinesische Universität Hongkong, Visiting Assistant Professor, MIT James Collins Lab, Broad Institute of MIT und Harvard Research Scientist, Zu Besuch am Wyss Institute, Harvard University Scholar, Forbes 30 Under 30 Asia-Liste – Jahrgang 2022, Gesundheitswesen und Wissenschaft. Homepage: https://liyu95.com.

Das obige ist der detaillierte Inhalt vonOpen Source! Hong Kong Chinese, MIT und Fudan schlagen das erste RNA-Grundsteinmodell vor. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!