Die beliebteste KI-Forschungsliste für Juli wird veröffentlicht, wobei Ma Yis neuestes „Standardmodell' den neunten Platz belegt

Die Liste der beliebtesten KI-Forschung im Juli ist da!

Diese vom Reddit-Benutzer @bycloudai zusammengestellte Liste listet die zehn besten KI-Forschungen im Juli 2022 auf, basierend auf Twitter-Likes, Retweets und Github-Stars, darunter DeepMind, bekannte Institutionen wie Google und MIT CSAIL.

Werfen wir einen Blick darauf, wer die Großen auf der Liste sind~

TOP1: Formale Algorithmen für Transformatoren#🎜 🎜#

Autor: Mary Phuong, Marcus Hutter

Institution: DeepMind

Zusammenfassung: Dieser Artikel zielt darauf ab Ein eigenständiger, mathematisch genauer Überblick über die Transformer-Architektur und -Algorithmen. Es behandelt, was Transformer sind, wie sie trainiert werden, ihre Verwendung, ihre wichtigsten Architekturkomponenten und eine Vorschau der bekanntesten Modelle.

Top2: Selbstbewusste adaptive Sprachmodellierung

Autor: Tal Schuster, Adam Fisch, Jai Gupta, Mostafa Dehghani, Dara Bahri, Vinh Q Tran, Yi Tay, Donald Metzler#🎜 🎜#

Institutionen: Google, MIT CSAIL

Zusammenfassung: Die jüngsten Fortschritte bei Transformer-basierten großen Sprachmodellen (LLMs) haben viele Aufgaben vorangetrieben Die Leistung wird deutlich verbessert. Doch während sich die Leistung verbessert, nimmt auch die Modellgröße dramatisch zu, was zu komplexen Inferenzprozessen und höheren Kosten führen kann. In der Praxis erzeugen große Sprachmodelle jedoch eine Reihe von Iterationen mit unterschiedlichen Schwierigkeitsgraden.

In dieser Arbeit stellen wir Confident Adaptive Language Modeling (CALM) vor, ein Framework, das dynamisch unterschiedliche Mengen an Computereingaben und Generierungsdauer zuweist.

Die frühe Exit-Dekodierung beinhaltet mehrere Probleme, die wir hier ansprechen, wie zum Beispiel: (1) welches Konfidenzmaß zu verwenden ist; (2) Verknüpfung von Einschränkungen auf Sequenzebene mit Exit-Entscheidungen für lokale Token; Versteckte Darstellungen gehen aufgrund der vorzeitigen Ausgabe früherer Token verloren. Durch theoretische Analysen und Experimente zu drei verschiedenen Textgenerierungsaufgaben demonstrieren wir die Wirksamkeit unseres Frameworks bei der Reduzierung des Rechenaufwands – potenziell bis zu einer Verdreifachung der Geschwindigkeit bei gleichzeitig hoher Leistung.

Top3: Sprachmodelle wissen (meistens), was sie wissen

Autor: Saurav Kadavath, Tom Conerly, Amanda Askell, Tom Henighan usw.

#🎜🎜 #Agentur: Anthropic

Zusammenfassung: In diesem Artikel wird untersucht, ob Sprachmodelle die Gültigkeit ihrer eigenen Behauptungen beurteilen und vorhersagen können, welche Fragen sie beantworten können korrekt. Wir zeigen zunächst, dass größere Modelle, wenn sie im richtigen Format bereitgestellt werden, gut auf eine Vielzahl von Multiple-Choice- und Richtig/Falsch-Fragen abgestimmt sind. Daher können wir die offene Stichprobenaufgabe selbst bewerten, indem wir das Modell bitten, zunächst eine Antwort vorzuschlagen und dann die Wahrscheinlichkeit P(True) zu bewerten, dass seine Antwort richtig ist.

Wir finden die Leistung, Kalibrierung und Skalierung von P(True) bei einer Vielzahl von Aufgaben spannend. Die Leistung der Selbstbewertung verbessert sich weiter, wenn wir dem Modell erlauben, viele seiner eigenen Stichproben zu berücksichtigen, bevor es die Gültigkeit einer bestimmten Möglichkeit vorhersagt. Als nächstes untersuchen wir, ob wir ein Modell trainieren können, um P(IK), die Wahrscheinlichkeit von „Ich kenne die Antwort auf die Frage“, vorherzusagen, ohne Bezug auf eine bestimmte vorgeschlagene Antwort.

Top4：YOLOv7: Trainierbare Tasche voller Gratisartikel setzt neue Maßstäbe für Echtzeit-Objektdetektoren

Autor: Chien-Yao Wang, Alexey Bochkovskiy, Hong-Yuan Mark Liao

Institution: Institut für Informationswissenschaft, Academia Sinica

Top5: Sprachmodellkaskaden#🎜🎜 #Autoren: David Dohan, Winnie : Kollaboratives neuronales Rendering mit AnimeCharacter Sheets

Autoren: Zuzeng Lin, Ailin Huang, Zhewei Huang usw. 🎜#

Top7: Neuronale Netze und die Chomsky-Hierarchie

Autor: Grégoire Delétang, Anian Ruoss, Jordi Grau-Moya, Tim Genewein usw.

Institution: DeepMind, Jonas F. Lotz, Emanuele Bugliarello usw.

Top9: Über die Prinzipien der Sparsamkeit und Selbstkonsistenz für die Entstehung von Intelligenz

Autor: Ma Yi, Cao Ying, Shen Xiangyang

Institution: University of California, Berkeley Branch Branch, Guangdong-Hong Kong-Macao Greater Bay Area Digital Economy Research Institute

Dieser Artikel ist das Ergebnis von Professor Ma Yi arbeitet mit dem Informatiker Dr. Shen Xiangyang und dem Neurowissenschaftler Professor Cao Ying zusammen. Ein veröffentlichter Forschungsbericht über die Entstehung und Entwicklung künstlicher Intelligenz kann als Überblick über die Entwicklung der KI in den letzten 70 Jahren angesehen werden.

Top10: Skalierungsgesetze vs. Modellarchitekturen: Wie beeinflusst induktive Verzerrung die Skalierung? Google, DeepMind

Nachdem wir die Artikel der Top-10-Experten gelesen haben, sprechen wir über einige interessante Details dieser Liste.

Wie wir alle wissen, können Twitter-Likes von Robotern generiert werden, die vom Autor als Schlüsselindikator für die Liste verwendet werden.

Darüber hinaus belegte das zuvor stark nachgefragte „Infinite Visual Generation Model NUWA-Infinity“ bei der Anzahl der Likes auf Twitter nur den 12. Platz, aber The Die Anzahl der Github-Sterne hat 2,4.000 überschritten.

Da NUWA Infinity bereits im November 2021 seine erste Version veröffentlichte, zählt diese Liste nur die Anzahl der Likes der darauffolgenden zweiten Version, also nur Rang 12.

Das obige ist der detaillierte Inhalt vonDie beliebteste KI-Forschungsliste für Juli wird veröffentlicht, wobei Ma Yis neuestes „Standardmodell' den neunten Platz belegt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!