CoRL 2022 Excellent Paper; Sprachmodell erzeugt Proteine, die in der Natur nicht vorkommen

目录​

1. # 🎜🎜# Sprachmodelle verallgemeinern über natürliche Proteine ​​hinaus. Verbesserung der Kohärenz langer Geschichten mit detaillierter Gliederungskontrolle System zur Generierung von 3D-Punktwolken aus komplexen Eingabeaufforderungen Training von Robotern zur Bewertung von Robotern: Beispielbasierte interaktive Belohnungsfunktionen für das Lernen von Richtlinien 🎜🎜#
2. 论文 1:Sprachmodelle verallgemeinern über natürliche Proteine ​​hinaus​
3. # ??? #🎜🎜 #论文地址：https://www.biorxiv.org/content/10.1101/2022.12.21.521521v1.full.pdf
5. 摘要：研究者专注于两个蛋白质设计任务：指定结构的固定骨架设计；从模型中采样结构的无约束生成.尽管语言模型仅针对序列进行训练,但该研究发现它们能够设计结构.在该研究的实验结果中, 一共生成了 228 种蛋白质, 设计成功152/228（67%）.
6. # 🎜🎜#在 152 个实验成功的设计中, 35 个与已知的天然蛋白质没有明显的序列匹配.
7. 对于固定主干设计，语言模型成功为 8 🎜🎜#对于不受约束生成的情况，采样的蛋白质涵盖了不同的拓扑结构和二级结构组成，结果具有很高的实验成功率 71/129（55%）。
8. # 🎜🎜#下图 1 Jahr ESM2 模型设计蛋白质的总体流程:

推荐#🎜 🎜#：该研究发现 ESM2 的新蛋白质. 🎜🎜#

论文 2:Eine High-Level-Programmiersprache für generative Proteindesign 🎜 #

• 论文地址：https://www.biorxiv.org/content/10.1101/2022.12.21.521526v1.full.pdf
• 摘要：FAIR高的抽象层次,蛋白质设计者只需要重新组合高级指令，然后在生成模型上执行指令即可.

他们提出的生成蛋白质设计的编程语言,允许设计人员指定直观、模块化和(即树的内部节点) 组成,前者对应一个独特的蛋白质序列 (在蛋白质中可能重复),后者支持分层组织.

Darüber hinaus ist ein energiebasiertes Erzeugungsmodell erforderlich. Zunächst spezifiziert Protein Designer ein High-Level-Programm, das aus einer Reihe hierarchisch organisierter Einschränkungen besteht (Abbildung 1A). Das Programm wird dann in eine Energiefunktion kompiliert, die zur Bewertung der Kompatibilität mit Einschränkungen verwendet wird, die willkürlich und nicht differenzierbar sind (Abbildung 1B). Schließlich kann durch die Integration von Strukturvorhersagen auf atomarer Ebene (unterstützt durch Sprachmodelle) in Energiefunktionen eine große Anzahl komplexer Proteindesigns generiert werden (Abbildung 1C).

Empfohlen: Programmieren Sie komplexe und modulare Proteinstrukturen programmgesteuert.

Papier 3: DOC: Verbesserung der Kohärenz langer Geschichten mit detaillierter Gliederungskontrolle

• Autor: Kevin Yang, Dan Klein usw.
• Adresse des Papiers : https:/ /ar xiv .org/pdf/2212.10077.pdf

Abstract: Vor einiger Zeit wurde Re^3 veröffentlicht, ein Sprachmodell, das den menschlichen Schreibprozess nachahmt. Dieses Modell erfordert keine Feinabstimmung von großen Modellen, erzeugt aber Konsistenz durch die Gestaltung starker Geschichten.

Jetzt hat das Forschungsteam ein neues Modell-DOC zur Generierung von Geschichten vorgeschlagen. Die Autoren des Papiers, Kevin Yang und Tian Yuandong, posteten ebenfalls auf Twitter, um für das DOC-Modell zu werben, und sagten, dass die von DOC generierten Geschichten kohärenter und interessanter seien als die von Re^3 generierten.

DOC-Framework bedeutet Detaillierte Gliederungskontrolle, die zur Verbesserung der Handlungskohärenz bei der automatischen Generierung von Geschichten mit mehreren Tausend Wörtern verwendet wird. DOC besteht aus zwei komplementären Komponenten: Detaillierter Outliner und Detaillierter Controller.

Detailed Outliner ist für die Erstellung detaillierter, hierarchisch strukturierter Gliederungen verantwortlich, die Schreibideen von der Entwurfs- in die Planungsphase bringen. Der Detaillierte Controller stellt sicher, dass die generierten Ergebnisse der detaillierten Gliederung folgen, indem er die Ausrichtung der Story-Absätze an den Gliederungsdetails steuert.

Die Studie führte eine manuelle Bewertung der Fähigkeit des Modells durch, automatisch Geschichten zu generieren, und DOC erzielte erhebliche Fortschritte bei mehreren Indikatoren: Handlungskohärenz (22,5 %), Gliederungsrelevanz (28,2 %) und Interesse (20,7 %). Das ist viel besser als das Re^3-Modell. Darüber hinaus ist DOC in einer interaktiven Build-Umgebung einfacher zu steuern.

Empfehlung: Eine weitere neue Arbeit von Tian Yuandong und anderen ursprünglichen Teammitgliedern: KI generiert lange Geschichten, und lange Artikel mit Tausenden von Wörtern können zusammenhängend und interessant sein.

Papier 4: Skalierbare Diffusionsmodelle mit Transformatoren

• Autor: William Peebles, Xie Saining
• Papieradresse: https://arxiv.org/pdf/2212.0 9748.pdf

Abstract: In diesem Artikel haben William Peebles von der UC Berkeley und Xie Saining von der New York University „Scalable Diffusion Models with Transformers“ geschrieben. Ziel ist es, die Bedeutung architektonischer Entscheidungen in Diffusionsmodellen aufzudecken und Informationen bereitzustellen für zukünftige generative Modellforschung. Diese Studie zeigt, dass die induktive Vorspannung von U-Net für die Leistung von Diffusionsmodellen nicht entscheidend ist und leicht durch Standarddesigns wie Transformatoren ersetzt werden kann.

Diese Forschung konzentriert sich auf eine neue Klasse transformatorbasierter Diffusionsmodelle: Diffusion Transformers (kurz DiTs). DiTs folgen den Best Practices von Vision Transformers (ViTs), mit einigen kleinen, aber wichtigen Anpassungen. Es hat sich gezeigt, dass DiT effizienter skaliert als herkömmliche Faltungsnetzwerke wie ResNet.

In diesem Artikel wird insbesondere das Skalierungsverhalten von Transformer im Hinblick auf Netzwerkkomplexität und Probenqualität untersucht. Es wird gezeigt, dass es durch die Konstruktion und das Benchmarking des DiT-Designraums im Rahmen des Latent Diffusion Model (LDM)-Frameworks, bei dem das Diffusionsmodell innerhalb des Latentraums von VAE trainiert wird, möglich ist, das U-Net-Backbone erfolgreich durch einen Transformator zu ersetzen. Dieses Papier zeigt außerdem, dass DiT eine skalierbare Architektur für Diffusionsmodelle ist: Es besteht eine starke Korrelation zwischen der Netzwerkkomplexität (gemessen durch Gflops) und der Probenqualität (gemessen durch FID). Durch einfaches Erweitern von DiT und Trainieren eines LDM mit einem Backbone mit hoher Kapazität (118,6 Gflops) werden hochmoderne Ergebnisse von 2,27 FID auf dem klassenbedingten 256 × 256 ImageNet-Generierungsbenchmark erzielt.

Empfehlung: Das U-Net, das das Diffusionsmodell dominiert, wird Transformer eingeführt und DiT vorgeschlagen. 🔜 :/ /arxiv.org/abs/2212.08751

Zusammenfassung

: Der Open-Source-3D-Modellgenerator Point-E von OpenAI hat eine neue Welle der Begeisterung im KI-Kreis ausgelöst. Laut einem mit dem Open-Source-Inhalt veröffentlichten Artikel kann Point-E 3D-Modelle in ein bis zwei Minuten auf einer einzigen Nvidia V100-GPU generieren. Im Vergleich dazu benötigen bestehende Systeme wie Googles DreamFusion typischerweise Stunden und mehrere GPUs.

• Point-E gibt kein 3D-Bild im herkömmlichen Sinne aus, sondern generiert eine Punktwolke oder einen diskreten Satz von Datenpunkten im Raum, der eine 3D-Form darstellt. Das E in Point-E steht für „Effizienz“, was bedeutet, dass es schneller ist als frühere Methoden zur 3D-Objektgenerierung. Während Punktwolken aus rechnerischer Sicht einfacher zu synthetisieren sind, können sie die feinkörnige Form oder Textur von Objekten nicht erfassen – derzeit eine wesentliche Einschränkung von Point-E.
• Um dieses Problem zu lösen, trainierte das OpenAI-Team ein zusätzliches künstliches Intelligenzsystem, um die Punktwolke von Point-E in ein Netz umzuwandeln.

Empfohlen: Dreidimensionale Text-zu-Bild-KI wird: Einzelne GPU wird in weniger als einer Minute ausgeliefert, von OpenAI. 🔜 /articles/s41586-020-2975-4

Abstract

: Am 2. Dezember 2020 erschienen mehrere überraschende Worte auf dem Cover des Top-Wissenschaftsmagazins „Nature“: „Turning Back“ Time“ (turn Zeit zurück).

Die Recherche auf dem Cover stammt vom Team von David Sinclair, einem ordentlichen Professor an der Harvard Medical School. Obwohl der Artikel nur wenige Seiten umfasst, zeigt er eine neue Perspektive auf: Die Verwendung von Gentherapie zur Neuprogrammierung von Ganglienzellen und zur Wiederherstellung jugendlicher epigenetischer Informationen, sodass sich der Sehnerv nach einer Schädigung regenerieren und den durch Glaukom und Alterung verursachten Sehverlust umkehren kann .

David Sinclair sagte, dass das Forschungsziel des Teams immer darin bestand, die Alterung des Menschen zu verlangsamen und umzukehren und Krankheiten durch die Lösung der Ursachen und nicht der Symptome zu behandeln.

Basierend auf dieser Studie aus dem Jahr 2020 nutzt das Team von David Sinclair die Altersumkehrtechnologie namens „REVIVER“, um sie an nichtmenschlichen Primaten zu testen, um zu sehen, ob sie sicher ist und wie bei Kindern Blindheit heilen kann.

Die neuesten Forschungsergebnisse stammen von David Sinclair und einem von ihm geleiteten Team von 60 Personen. Er sagte, dass Alterung wie Kratzer auf einer CD ist, die gelöscht werden können, oder beschädigte Software im System, die nur benötigt wird Umkehrungen können erreicht werden, genau wie im Lifespan-Buch.

Im Preprint-Artikel gaben die Autoren an, dass alle Organismen im Laufe der Zeit genetische Informationen verlieren und nach und nach zelluläre Funktionen verlieren. Mithilfe eines gentechnisch veränderten Maussystems namens ICE (für Inducible Changes in the Epigenome) zeigen Forscher, dass der Prozess der Reparatur nicht mutagener DNA-Brüche altersbedingte physiologische, kognitive und molekulare Veränderungen beschleunigt, einschließlich der Expression. Beobachten Sie genetische Erosion und Zellverlust Fähigkeiten, Zellalterung usw. Epigenetische Neuprogrammierung durch ektopische Expression kann jugendliche Genexpressionsmuster wiederherstellen, sagen Forscher.

Empfohlen

: Forschung zur Umkehrung des Alterns.

Papier 7: Training von Robotern zur Bewertung von Robotern: Beispielbasierte interaktive Belohnungsfunktionen für das Lernen von Richtlinien

​

#🎜🎜 #Autor: Kun Huang, Edward Hu, Dinesh Jayaraman

• #🎜🎜 #Papieradresse: https://openreview.net/pdf?id=sK2aWU7X9b8
• Abstract : Oft helfen körperliche Interaktionen, weniger offensichtliche Informationen preiszugeben. Beispielsweise können wir an einem Tischbein ziehen, um zu beurteilen, ob es stabil ist, oder eine Wasserflasche auf den Kopf stellen, um zu überprüfen, ob sie undicht ist. Die Studie legt nahe, dass dies durch Training geschehen könnte ein Roboter, um dieses Interaktionsverhalten automatisch zu erhalten, um die Ergebnisse der Versuche des Roboters, die Fertigkeit auszuführen, auszuwerten. Diese Bewertungen wiederum dienen als IRFs (interaktive Belohnungsfunktionen), mit denen verstärkte Lernstrategien trainiert werden, um Zielfähigkeiten wie das Festziehen von Tischbeinen auszuführen. Darüber hinaus kann IRF als Validierungsmechanismus dienen, um die Ausführung von Online-Aufgaben auch nach Abschluss der vollständigen Schulung zu verbessern. Für jede gegebene Aufgabe ist das IRF-Training sehr praktisch und erfordert keine weiteren Spezifikationen.

Die Evaluierungsergebnisse zeigen, dass IRF durch den Zugriff auf Demos oder sorgfältig gestaltete Belohnungen erhebliche Leistungsverbesserungen erzielen und sogar die Ausgangswerte übertreffen kann. Im Bild unten muss der Roboter beispielsweise zuerst die Tür schließen und dann den symmetrischen Türgriff drehen, um die Tür vollständig zu verriegeln.

Das obige ist der detaillierte Inhalt vonCoRL 2022 Excellent Paper; Sprachmodell erzeugt Proteine, die in der Natur nicht vorkommen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!