Transferlernen ist eine Methode, die trainierte Modelle in bestehenden maschinellen Lernaufgaben verwendet, um neue Aufgaben zu lösen. Es kann die Menge der für neue Aufgaben erforderlichen Trainingsdaten reduzieren, indem das Wissen bestehender Modelle auf neue Aufgaben übertragen wird. In den letzten Jahren wurde Transferlernen häufig in Bereichen wie der Verarbeitung natürlicher Sprache und der Bilderkennung eingesetzt. In diesem Artikel werden die Konzepte und Prinzipien des Transferlernens ausführlich vorgestellt.
Klassische Transfer-Lernstrategie
Wenden Sie je nach Aufgabenbereich und Datenverfügbarkeit unterschiedliche Transfer-Lernstrategien und -Techniken an.
1. Induktives Transferlernen
Induktives Transferlernen erfordert, dass die Quelldomäne und die Zieldomäne identisch sind, obwohl die spezifischen Aufgaben, die vom Modell behandelt werden, unterschiedlich sind. Diese Algorithmen versuchen, das Wissen des Quellmodells auszunutzen und es zur Verbesserung der Zielaufgabe anzuwenden. Vorab trainierte Modelle verfügen bereits über Fachwissen zu Domänenfunktionen, was ihnen einen besseren Ausgangspunkt bietet, als sie von Grund auf zu trainieren.
Induktives Transferlernen wird weiter in zwei Unterkategorien unterteilt, je nachdem, ob die Quelldomäne gekennzeichnete Daten enthält. Dazu gehören Multitasking-Lernen bzw. Lernen im eigenen Tempo.
2. Transduktives Transferlernen
In Szenarien, in denen die Felder der Quellaufgabe und der Zielaufgabe nicht genau gleich sind, aber miteinander in Zusammenhang stehen, kann die Strategie des transduktiven Transferlernens verwendet werden. Man kann Ähnlichkeiten zwischen Quell- und Zielaufgaben erkennen. In diesen Szenarien gibt es normalerweise eine große Menge gekennzeichneter Daten in der Quelldomäne und nur unbeschriftete Daten in der Zieldomäne.
3. Unüberwachtes Transferlernen
Unüberwachtes Transferlernen ähnelt dem induktiven Transferlernen. Der einzige Unterschied besteht darin, dass sich der Algorithmus auf unbeaufsichtigte Aufgaben konzentriert und unbeschriftete Datensätze sowohl in Quell- als auch in Zielaufgaben einbezieht.
4. Eine Strategie, die auf Domänenähnlichkeit basiert und unabhängig von der Art der Trainingsdatenproben ist.
- Isomorphes Transferlernen
Eine isomorphe Transferlernmethode wird entwickelt und vorgeschlagen, um Domänen mit denselben Eigenschaften zu verarbeiten Raumsituation. Beim isomorphen Transferlernen unterscheiden sich Domänen nur geringfügig in ihren Randverteilungen. Diese Methoden passen die Domäne an, indem sie Stichprobenauswahlverzerrungen oder Kovariatenverschiebungen korrigieren.
- Heterogenes Transferlernen
Heterogene Transferlernmethoden sollen das Problem von Quell- und Zieldomänen mit unterschiedlichen Merkmalsräumen sowie andere Probleme wie unterschiedliche Datenverteilungen und Beschriftungsräume lösen. Heterogenes Transferlernen wird auf domänenübergreifende Aufgaben wie die sprachübergreifende Textklassifizierung, Text-zu-Bild-Klassifizierung usw. angewendet. 6 Schritte des Transferlernens . Transferlernen erfordert eine starke Korrelation zwischen dem Wissen des vorab trainierten Quellmodells und der Zielaufgabendomäne, um kompatibel zu sein.
2. Erstellen Sie ein Basismodell
Das Basismodell besteht darin, im ersten Schritt eine Architektur auszuwählen, die eng mit der Aufgabe zusammenhängt. Es kann vorkommen, dass das Basismodell mehr Neuronen in der endgültigen Ausgabeschicht hat im Anwendungsfall benötigte Menge. In diesem Fall muss die endgültige Ausgabeebene entfernt und entsprechend geändert werden.
3. Einfrieren der Startebene
Das Einfrieren der Startebene des vorab trainierten Modells ist entscheidend, um zu vermeiden, dass das Modell grundlegende Funktionen lernt. Wenn Sie die erste Ebene nicht einfrieren, gehen alle bisherigen Erkenntnisse verloren. Dies unterscheidet sich nicht davon, ein Modell von Grund auf zu trainieren, was zu einer Verschwendung von Zeit, Ressourcen usw. führt.
4. Neue trainierbare Ebene hinzufügen
Das einzige aus dem Basismodell wiederverwendete Wissen ist die Feature-Extraktionsebene. Zusätzlich zur Merkmalsextraktionsschicht müssen zusätzliche Schichten hinzugefügt werden, um die besonderen Aufgaben des Modells vorherzusagen. Dies sind normalerweise die endgültigen Ausgabeebenen.
5. Trainieren Sie eine neue Ebene
Es ist sehr wahrscheinlich, dass sich die endgültige Ausgabe des vorab trainierten Modells von der gewünschten Modellausgabe unterscheidet. In diesem Fall muss eine neue Ausgabeebene zum Trainieren verwendet werden das Model.
6. Optimieren Sie das Modell
, um die Leistung des Modells zu verbessern. Zur Feinabstimmung gehört das Auftauen von Teilen des Basismodells und das erneute Trainieren des gesamten Modells anhand des gesamten Datensatzes mit einer sehr niedrigen Lernrate. Eine niedrige Lernrate verbessert die Leistung des Modells bei neuen Datensätzen und verhindert gleichzeitig eine Überanpassung.
Der Unterschied zwischen traditionellem maschinellem Lernen und Transferlernen
1 Herkömmliche Modelle für maschinelles Lernen müssen von Grund auf trainiert werden, was einen großen Rechenaufwand und eine große Datenmenge erfordert, um eine hohe Leistung zu erzielen. Transferlernen hingegen ist recheneffizient und trägt dazu bei, mit kleinen Datensätzen bessere Ergebnisse zu erzielen.
2. Traditionelles maschinelles Lernen verwendet eine isolierte Trainingsmethode, und jedes Modell wird unabhängig für einen bestimmten Zweck trainiert und verlässt sich nicht auf früheres Wissen. Im Gegensatz dazu nutzt Transferlernen das aus einem vorab trainierten Modell gewonnene Wissen zur Bewältigung der Aufgabe.
3. Transfer-Lernmodelle erreichen schneller eine optimale Leistung als herkömmliche ML-Modelle. Dies liegt daran, dass das Modell, das Wissen (Merkmale, Gewichtungen usw.) aus zuvor trainierten Modellen nutzt, diese Funktionen bereits versteht. Es ist schneller, als ein neuronales Netzwerk von Grund auf zu trainieren.
Das Konzept des Deep Transfer Learning
Viele vorab trainierte neuronale Netze und Modelle bilden die Grundlage für Transfer Learning im Kontext von Deep Learning, das als Deep Transfer Learning bezeichnet wird.
Um den Prozess von Deep-Learning-Modellen zu verstehen, ist es notwendig, ihre Komponenten zu verstehen. Deep-Learning-Systeme sind Schichtarchitekturen, die verschiedene Funktionen auf verschiedenen Ebenen lernen können. Die ersten Schichten stellen Features höherer Ebene zusammen, die bei tieferem Vordringen in das Netzwerk auf feinkörnigere Features eingegrenzt werden.
Diese Schichten werden schließlich mit der letzten Schicht verbunden, um die endgültige Ausgabe zu erhalten. Dies eröffnet die Einschränkung, gängige vorab trainierte Netzwerke zu verwenden, ohne deren letzte Schicht als festen Feature-Extraktor für andere Aufgaben verwenden zu müssen. Die Schlüsselidee besteht darin, die gewichteten Schichten eines vorab trainierten Modells zu nutzen, um Features zu extrahieren, aber nicht die Gewichte des Modells während des Trainings mit neuen Daten für neue Aufgaben zu aktualisieren.
Tiefe neuronale Netze sind Schichtstrukturen mit vielen einstellbaren Hyperparametern. Die Rolle der ersten Schichten besteht darin, generische Merkmale zu erfassen, während sich spätere Schichten mehr auf die explizite Aufgabe konzentrieren. Es ist sinnvoll, die Feature-Darstellungen höherer Ordnung im Basismodell zu optimieren, um sie für bestimmte Aufgaben relevanter zu machen. Wir können bestimmte Schichten des Modells neu trainieren und gleichzeitig einige Einfrierungen im Training beibehalten.
Eine Möglichkeit, die Modellleistung weiter zu verbessern, besteht darin, die Gewichte auf der obersten Ebene des vorab trainierten Modells neu zu trainieren oder zu optimieren, während der Klassifikator trainiert wird. Dies erzwingt, dass die Gewichte anhand einer gemeinsamen Feature-Map aktualisiert werden, die aus der Quellaufgabe des Modells gelernt wurde. Durch die Feinabstimmung kann das Modell früheres Wissen anwenden und etwas in der Zieldomäne neu lernen.
Außerdem sollte man versuchen, ein paar obere Schichten zu verfeinern und nicht das gesamte Modell. Die ersten Schichten erlernen grundlegende allgemeine Funktionen, die auf fast alle Datentypen verallgemeinert werden können. Der Zweck der Feinabstimmung besteht darin, diese speziellen Funktionen an neue Datensätze anzupassen, anstatt das allgemeine Lernen außer Kraft zu setzen.
Das obige ist der detaillierte Inhalt vonVerstehen Sie die Strategien, Schritte, Unterschiede und Konzepte des Transferlernens. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
