Entwicklungstrends und Probleme des Deep Learning im Jahr 2022

Wir haben ein weiteres Jahr spannender Entwicklungen im Deep Learning mit künstlicher Intelligenz (KI) hinter uns – ein Jahr voller bemerkenswerter Fortschritte, Kontroversen und natürlich Kontroversen. Während wir das Jahr 2022 abschließen und uns auf das Jahr 2023 vorbereiten, finden Sie hier die bemerkenswertesten Gesamttrends im Bereich Deep Learning in diesem Jahr.

1. Skalierung bleibt ein wichtiger Faktor

Ein Thema, das in den letzten Jahren beim Deep Learning konstant geblieben ist, ist der Drang, größere neuronale Netze zu schaffen. Die Verfügbarkeit von Computerressourcen ermöglicht die Entwicklung skalierbarer neuronaler Netze sowie spezieller KI-Hardware, großer Datensätze und skalierbarer Architekturen wie Transformatormodelle.

Derzeit erzielen Unternehmen bessere Ergebnisse, indem sie neuronale Netze auf größere Maßstäbe skalieren. Im vergangenen Jahr veröffentlichte DeepMind ein großes Sprachmodell (LLM) mit 280 Milliarden Parametern; Google veröffentlichte das Pathways-Sprachmodell (PaLM) mit 540 Milliarden Parametern und das allgemeine Sprachmodell (GLaM) mit bis zu 1,2 Billionen Parametern. ; Microsoft und NVIDIA haben Megatron-Turing NLG veröffentlicht, ein LLM mit 530 Milliarden Parametern.

Einer der interessanten Aspekte der Skalierung ist die Fähigkeit, so zu entstehen, dass größere Modelle erfolgreich Aufgaben erledigen, die für kleinere Modelle unmöglich wären. Besonders interessant ist dieses Phänomen bei LLMs, wo die Modelle mit zunehmendem Umfang vielversprechende Ergebnisse bei einem breiteren Spektrum von Aufgaben und Benchmarks zeigen.

Es ist jedoch erwähnenswert, dass selbst in den größten Modellen einige grundlegende Probleme des Deep Learning ungelöst bleiben (mehr dazu später).

2. Unüberwachtes Lernen liefert weiterhin Ergebnisse

Viele erfolgreiche Deep-Learning-Anwendungen erfordern die Kennzeichnung von Trainingsbeispielen durch Menschen, auch bekannt als überwachtes Lernen. Die meisten im Internet verfügbaren Daten verfügen jedoch nicht über die für überwachtes Lernen erforderlichen „Clean Labels“. Datenanmerkungen sind teuer und langsam, was zu Engpässen führt. Aus diesem Grund suchen Forscher seit langem nach Fortschritten beim unüberwachten Lernen, bei dem Deep-Learning-Modelle ohne von Menschen annotierte Daten trainiert werden.

Dieser Bereich hat in den letzten Jahren enorme Fortschritte gemacht, insbesondere im Bereich der LLMs, die größtenteils auf riesigen, aus dem Internet gesammelten Rohdatensätzen trainiert werden. Während der LL.M. im Jahr 2022 weiter an Bedeutung gewinnt, beobachten wir auch, dass andere Trends bei unbeaufsichtigten Lerntechniken an Popularität gewinnen.

Zum Beispiel haben Text-zu-Bild-Modelle dieses Jahr erstaunliche Fortschritte gemacht. Modelle wie DALL-E 2 von OpenAI, Imagen von Google und Stable Diffusion von Stability AI demonstrieren die Leistungsfähigkeit des unbeaufsichtigten Lernens. Im Gegensatz zu älteren Text-zu-Bild-Modellen, die gut kommentierte Bild- und Beschreibungspaare erfordern, verwenden diese Modelle große Datensätze von Bildern mit losem Titel, die bereits im Internet vorhanden sind. Die schiere Größe ihres Trainingsdatensatzes (was nur möglich ist, weil keine manuelle Beschriftung erforderlich ist) und die Variabilität der Untertitelschemata ermöglichen es diesen Modellen, eine Vielzahl komplexer Muster zwischen Text- und visuellen Informationen zu finden. Daher sind sie flexibler bei der Generierung von Bildern für verschiedene Beschreibungen.

3. Multimodalität hat einen langen Weg zurückgelegt

Text-zu-Bild-Generatoren haben eine weitere interessante Funktion: Sie kombinieren mehrere Datentypen in einem einzigen Modell. Durch die Fähigkeit, mit mehreren Mustern umzugehen, können Deep-Learning-Modelle komplexere Aufgaben übernehmen.

Multimodalität ist sehr wichtig für die menschliche und tierische Intelligenz. Wenn Sie beispielsweise einen Baum sehen und den Wind in seinen Ästen rauschen hören, kann Ihr Gehirn sie schnell verbinden. Wenn Sie das Wort „Baum“ sehen, können Sie sich auch schnell ein Bild von einem Baum vorstellen, sich an den Geruch von Kiefern nach dem Regen erinnern oder sich an andere Erlebnisse erinnern, die Sie zuvor gemacht haben.

Offensichtlich spielt Multimodalität eine wichtige Rolle bei der Flexibilisierung von Deep-Learning-Systemen. Dies lässt sich vielleicht am besten durch Gato von DeepMind demonstrieren, ein Deep-Learning-Modell, das auf einer Vielzahl von Datentypen trainiert wird, darunter Bilder, Text und propriozeptive Daten. Gato zeichnet sich durch zahlreiche Aufgaben aus, darunter Bildunterschriften, interaktive Dialoge, die Steuerung von Roboterarmen und das Spielen von Spielen. Dies steht im Gegensatz zu klassischen Deep-Learning-Modellen, die auf die Ausführung einer einzelnen Aufgabe ausgelegt sind.

Einige Forscher haben das Konzept vorgeschlagen, dass wir nur Systeme wie Gato brauchen, um künstliche Intelligenz (AGI) zu implementieren. Obwohl viele Wissenschaftler dieser Ansicht nicht zustimmen, ist es sicher, dass die Multimodalität wichtige Fortschritte beim Deep Learning gebracht hat.

4. Grundlegende Probleme beim Deep Learning bleiben bestehen

Trotz der beeindruckenden Erfolge des Deep Learning bleiben einige Probleme auf diesem Gebiet ungelöst. Dazu gehören Kausalität, Kompositionalität, gesunder Menschenverstand, Argumentation, Planung, intuitive Physik sowie Abstraktion und Analogie.

Dies sind einige der Geheimnisse der Intelligenz, die immer noch von Wissenschaftlern in verschiedenen Bereichen untersucht werden. Rein skalen- und datenbasierte Deep-Learning-Ansätze haben dazu beigetragen, bei einigen dieser Probleme schrittweise Fortschritte zu erzielen, konnten jedoch keine klaren Lösungen liefern.

​Zum Beispiel kann ein größeres LLM die Kohärenz und Konsistenz über längere Texte hinweg aufrechterhalten. Sie scheiterten jedoch bei Aufgaben, die eine sorgfältige schrittweise Überlegung und Planung erforderten.

In ähnlicher Weise erstellen Text-zu-Bild-Generatoren beeindruckende Grafiken, machen jedoch grundlegende Fehler, wenn sie Bilder zeichnen sollen, die eine Komposition erfordern oder komplexe Beschreibungen enthalten.

Verschiedene Wissenschaftler diskutieren und erforschen diese Herausforderungen, darunter auch einige Pioniere des Deep Learning. Der bekannteste davon ist Yann LeCun, der mit dem Turing Award ausgezeichnete Erfinder von Convolutional Neural Networks (CNN), der kürzlich einen langen Artikel über die Einschränkungen von LLMs schrieb, die nur aus Text lernen. LeCun arbeitet an einer Deep-Learning-Architektur, die ein Modell der Welt erlernen kann und einige der Herausforderungen lösen könnte, denen sich das Gebiet derzeit gegenübersieht.

Deep Learning hat einen langen Weg zurückgelegt. Aber je mehr Fortschritte wir machen, desto mehr erkennen wir die Herausforderungen bei der Schaffung wirklich intelligenter Systeme. Das nächste Jahr wird auf jeden Fall genauso spannend wie dieses Jahr.

Das obige ist der detaillierte Inhalt vonEntwicklungstrends und Probleme des Deep Learning im Jahr 2022. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!