Generative und diskriminierende Modelle

Klassifizierungsmodelle können in zwei Kategorien unterteilt werden: generative Modelle und diskriminative Modelle. In diesem Artikel werden die Unterschiede zwischen diesen beiden Modelltypen erläutert und die Vor- und Nachteile jedes Ansatzes erörtert.

Diskriminatives Modell

Das diskriminierende Modell ist ein Modell, das die Beziehung zwischen Eingabedaten und Ausgabeetiketten lernen kann Ausgabebeschriftungen durch Lernen von Merkmalen der Eingabedaten. Bei einem Klassifizierungsproblem besteht unser Ziel darin, jedem Eingabevektor x eine Bezeichnung y zuzuordnen. Diskriminative Modelle versuchen, direkt eine Funktion f(x) zu lernen, die Eingabevektoren Beschriftungen zuordnet. Diese Modelle können weiter in zwei Untertypen unterteilt werden:

Klassifikatoren versuchen, f(x) zu finden, ohne eine Wahrscheinlichkeitsverteilung zu verwenden. Diese Klassifikatoren geben für jede Stichprobe direkt eine Bezeichnung aus, ohne eine Wahrscheinlichkeitsschätzung der Klasse bereitzustellen. Diese Klassifikatoren werden oft als deterministische Klassifikatoren oder verteilungsfreie Klassifikatoren bezeichnet. Beispiele für solche Klassifikatoren sind k-nächste Nachbarn, Entscheidungsbäume und SVM.

Der Klassifikator lernt zunächst die Wahrscheinlichkeiten der hinteren Klasse P(y = k|x) aus den Trainingsdaten und ordnet basierend auf diesen Wahrscheinlichkeiten eine neue Stichprobe x einer der Klassen zu (normalerweise die mit dem höchste hintere Wahrscheinlichkeitsklasse).

Diese Klassifikatoren werden oft als probabilistische Klassifikatoren bezeichnet. Beispiele für solche Klassifikatoren sind die logistische Regression und neuronale Netze, die Sigmoid- oder Softmax-Funktionen in der Ausgabeschicht verwenden.

Wenn alle Dinge gleich sind, verwende ich im Allgemeinen einen probabilistischen Klassifikator anstelle eines deterministischen Klassifikators, da dieser Klassifikator zusätzliche Informationen über die Konfidenz bei der Zuordnung einer Stichprobe zu einer bestimmten Klasse liefert.

Allgemeine Diskriminanzmodelle umfassen:

• Logistische Regression (LR)
• Support Vector Machine (SVM)
#🎜 🎜#Entscheidungsbaum (DT)

Generatives Modell

Generatives Modell vor der Schätzung der Klassenwahrscheinlichkeit Lernen Sie die Verteilung der Eingaben kennen. Ein generatives Modell ist ein Modell, das den Datengenerierungsprozess erlernen kann. Es kann die Wahrscheinlichkeitsverteilung von Eingabedaten erlernen und neue Datenproben generieren.

Generativ ausgedrückt schätzt das generative Modell zunächst die bedingte Dichte P(x|y = k) der Kategorie und die Wahrscheinlichkeit der vorherigen Kategorie P(y = k) aus den Trainingsdaten. Sie versuchen zu verstehen, wie die Daten für jede Kategorie generiert werden.

Verwenden Sie dann den Satz von Bayes, um die Wahrscheinlichkeit der hinteren Klasse abzuschätzen:

Der Nenner der Bayes-Regel kann in verwendet werden der Zähler Die angezeigten Variablen werden dargestellt durch:

Das generative Modell kann auch zuerst die gemeinsame Verteilung der Eingabe und die Bezeichnung P(x, y) lernen ) und normalisieren Sie es dann. Vereinheitlichen Sie, um die A-Posteriori-Wahrscheinlichkeit P(y = k|x) zu erhalten. Sobald wir die A-Posteriori-Wahrscheinlichkeiten haben, können wir sie verwenden, um einer der Klassen (normalerweise der Klasse mit der höchsten A-Posteriori-Wahrscheinlichkeit) eine neue Stichprobe x zuzuordnen.

Stellen Sie sich zum Beispiel eine Bildklassifizierungsaufgabe vor, bei der wir zwischen Bildern von Hunden (y = 1) und Katzen (y = 0) unterscheiden müssen. Das generative Modell erstellt zunächst ein Modell des Hundes P(x|y = 1) und ein Modell der Katze P(x|y = 0). Wenn es dann ein neues Bild klassifiziert, vergleicht es es mit beiden Modellen, um zu sehen, ob das neue Bild eher wie ein Hund oder eher wie eine Katze aussieht.

Generative Modelle ermöglichen es uns, neue Stichproben aus der erlernten Eingabeverteilung P(x|y) zu generieren. Wir nennen es also ein generatives Modell. Das einfachste Beispiel ist, dass wir für das obige Modell neue Hundebilder generieren können, indem wir P(x|y = 1) abtasten.

Allgemeine generative Modelle umfassen

Naive Bayes (Naive Bayes)
• Gaußsche Mischungsmodelle (GMMs)#🎜🎜 ##🎜 🎜#Hidden Markov Model (hmm)
• Lineare Diskriminanzanalyse (LDA)
• Deep Generative Models (DGMs) kombinieren generative Modelle und Deep Neural Network: #🎜 🎜#

Autoencoder (AE)

Generative Adversarial Network (GAN)

#🎜🎜 #Autoregressive Modelle wie GPT (Generative Pre-trained Transformer), sind ein autoregressives Sprachmodell, das Milliarden von Parametern enthält.
• Unterschiede sowie Vor- und Nachteile
• Der Hauptunterschied zwischen generativen Modellen und diskriminativen Modellen besteht darin, dass sie unterschiedliche Lernziele haben. Generative Modelle lernen die Verteilung von Eingabedaten und können neue Datenproben generieren. Diskriminative Modelle lernen die Beziehung zwischen Eingabedaten und Ausgabebezeichnungen und können neue Bezeichnungen vorhersagen.

Generative Modelle:

Generative Modelle liefern uns mehr Informationen, weil sie gleichzeitig Eingabeverteilungen und Klassenwahrscheinlichkeiten lernen. Aus der erlernten Eingabeverteilung können neue Stichproben generiert werden. Und können mit fehlenden Daten umgehen, da sie die Eingabeverteilung schätzen können, ohne fehlende Werte zu verwenden. Die meisten diskriminierenden Modelle erfordern jedoch, dass alle Merkmale vorhanden sind.

Die Trainingskomplexität ist hoch, da das generative Modell eine große Menge an Rechen- und Speicherressourcen erfordert, um eine gemeinsame Verteilung zwischen Eingabedaten und Ausgabedaten herzustellen. Die Annahme der Datenverteilung ist relativ stark, da das generative Modell eine gemeinsame Verteilung zwischen den Eingabedaten und den Ausgabedaten herstellen und die Verteilung der Daten annehmen und modellieren muss. Daher ist das generative Modell für eine komplexe Datenverteilung erforderlich eignet sich für kleine Rechenressourcen. Nicht anwendbar.

Generative Modelle können multimodale Daten verarbeiten, da generative Modelle multivariate gemeinsame Verteilungen zwischen Eingabedaten und Ausgabedaten erstellen können und dadurch multimodale Daten verarbeiten können.

Diskriminatives Modell:

Für ein generatives Modell ist es rechnerisch schwierig, die Eingabeverteilung P(x|y) zu lernen, ohne einige Annahmen über die Daten zu treffen, um beispielsweise P vorherzusagen (x |y)-Modellierung müssen wir 2 ᵐ Parameter aus den Daten jeder Klasse schätzen (diese Parameter stellen die bedingte Wahrscheinlichkeit jeder der 2 ᵐ Kombinationen von m Merkmalen dar). Modelle wie Naive Bayes gehen von einer bedingten Unabhängigkeit der Merkmale aus, um die Anzahl der zu erlernenden Parameter zu reduzieren, sodass die Trainingskomplexität gering ist. Solche Annahmen führen jedoch häufig dazu, dass generative Modelle schlechtere Ergebnisse erzielen als diskriminierende Modelle.

Gute Leistung bei komplexer Datenverteilung und hochdimensionalen Daten, da das diskriminative Modell die Zuordnungsbeziehung zwischen Eingabedaten und Ausgabedaten flexibel modellieren kann.

Das diskriminierende Modell reagiert empfindlich auf verrauschte Daten und fehlende Daten, da das Modell nur die Zuordnungsbeziehung zwischen Eingabedaten und Ausgabedaten berücksichtigt und die Informationen in den Eingabedaten nicht zum Ausfüllen fehlender Werte und zum Entfernen von Rauschen verwendet.

Zusammenfassung

Generative Modelle und diskriminative Modelle sind beide wichtige Modelltypen beim maschinellen Lernen. Sie haben jeweils ihre eigenen Vorteile und anwendbaren Szenarien. In praktischen Anwendungen ist es notwendig, ein geeignetes Modell entsprechend den Anforderungen spezifischer Aufgaben auszuwählen und Hybridmodelle und andere technische Mittel zu kombinieren, um die Leistung und Wirkung des Modells zu verbessern.

Das obige ist der detaillierte Inhalt vonGenerative und diskriminierende Modelle. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!