Gängige überwachte Lernalgorithmen

Überwachtes Lernen ist eine Art maschinelles Lernen, bei dem gekennzeichnete Beispiele durch Trainingsalgorithmen verwendet werden, um unsichtbare Beispiele vorherzusagen. Ziel ist es, eine Funktion zu erlernen, die Eingabedaten Ausgabeetiketten zuordnet.

Beim überwachten Lernen erhält der Algorithmus einen Trainingsdatensatz, der eine Reihe von Eingabebeispielen und die entsprechenden korrekten Ausgabebezeichnungen enthält. Mithilfe dieses Datensatzes ist der Algorithmus in der Lage, eine Funktion zu lernen, die die Ausgabebezeichnung für neue Beispiele vorhersagt. Um die Leistung eines Algorithmus zu bewerten, verwenden wir normalerweise einen unabhängigen Testdatensatz, um die Genauigkeit der erlernten Funktion zu überprüfen. Dieser Testdatensatz wird verwendet, um die Leistung des Algorithmus anhand unsichtbarer Daten zu testen.

1. Lineare Regression

Die lineare Regression ist eine Methode zur Vorhersage kontinuierlicher Werte, die davon ausgeht, dass die Beziehung zwischen Features und Zielen linear ist. Das Ziel besteht darin, die am besten geeignete Linie zu finden, die die Summe der quadratischen Fehler zwischen dem vorhergesagten Wert und dem wahren Wert minimiert. Darüber hinaus kann die lineare Regression zusammen mit der Polynomregression verwendet werden, um eine Polynomkurve an die Daten anzupassen.

2. Logistische Regression

Die logistische Regression ist ein Algorithmus zur binären Klassifizierung. Es handelt sich um einen Regressionsalgorithmus, da er kontinuierliche Werte vorhersagt. Er wird jedoch häufig bei Klassifizierungsaufgaben verwendet, da er eine logistische Funktion verwendet, um vorhergesagte Werte in Wahrscheinlichkeiten umzuwandeln. Die logistische Regression wird als „logistische“ Regression bezeichnet, da sie die logistische Funktion (auch Sigmoidfunktion genannt) verwendet, um die Wahrscheinlichkeit vorherzusagen, dass eine Stichprobe zu einer bestimmten Klasse gehört.

Ziel ist es, mithilfe eines Optimierungsalgorithmus (z. B. Gradientenabstieg) eine Reihe von Gewichten zu lernen, mit denen die Wahrscheinlichkeit vorhergesagt werden kann, dass eine Stichprobe zu einer bestimmten Klasse gehört. Vorhersagen werden durch Schwellenwertbildung der vorhergesagten Wahrscheinlichkeiten getroffen.

3. Support Vector Machine (SVM)

Der Support Vector Machine-Algorithmus ist ein linearer Klassifikator, der versucht, die Hyperebene zu finden, die die Trennung zweier Klassen in einem hochdimensionalen Raum maximiert und zur Klassifizierung verwendet wird Rückschritt.

SVM funktioniert durch das Erlernen einer Reihe von Gewichten, die eine Hyperebene definieren. Die Hyperebene wird so gewählt, dass sie die Trennung der Klassen maximiert und den maximalen Abstand (Rand genannt) zum nächstgelegenen Beispiel jeder Klasse aufweist. Sobald die Hyperebene gefunden ist, kann SVM zur Klassifizierung neuer Beispiele verwendet werden, indem sie in den Merkmalsraum projiziert und Klassen basierend darauf vorhergesagt werden, auf welcher Seite der Hyperebene sie liegen. Die Kernelfunktion kann linear oder nichtlinear sein und transformiert die Daten in einen höherdimensionalen Raum, sodass die Support-Vektor-Maschine lineare Grenzen im transformierten Raum finden kann.

SVMs sind besonders nützlich für Aufgaben, bei denen die Daten hochdimensional und linear trennbar sind, da sie nichtlineare Entscheidungsgrenzen lernen können, indem sie die Eingabedaten in einen hochdimensionalen Raum (der möglicherweise linear trennbar ist) abbilden und dann Lernen, dass räumliche Entscheidungsgrenzen vorliegen (auch bekannt als Kernel-Techniken).

4. Entscheidungsbaum

Der Entscheidungsbaumalgorithmus ist ein nichtlinearer Klassifikator, der Vorhersagen auf der Grundlage von Baumstrukturen trifft, die zur Klassifizierung und Regression verwendet werden. Es funktioniert durch rekursive Aufteilung des Eingaberaums in Regionen basierend auf Merkmalswerten.

Entscheidungsbäume funktionieren, indem sie den Eingaberaum basierend auf Merkmalswerten rekursiv in mehrere Regionen aufteilen. Bei jedem Schritt im Baum wählt der Algorithmus anhand von Segmentierungskriterien wie dem Gini-Index oder dem Informationsgewinn die Merkmale aus, die die Daten am besten segmentieren. Der Prozess wird fortgesetzt, bis ein Stoppkriterium erreicht ist, beispielsweise die maximale Tiefe des Baums oder die minimale Anzahl von Beispielen in Blattknoten.

Um Vorhersagen zu neuen Beispielen zu treffen, verfolgt der Algorithmus die Zweige des Baums anhand der Merkmalswerte, bis er einen Blattknoten erreicht. Anschließend werden Vorhersagen basierend auf der Mehrheitsklasse der Beispiele in den Blattknoten (für Klassifizierungsaufgaben) oder dem Mittelwert oder Median der Beispiele in den Blattknoten (für Regressionsaufgaben) getroffen.

Der Entscheidungsbaum ist ein einfaches und interpretierbares Modell und leicht zu implementieren. Sie lassen sich außerdem schnell trainieren und vorhersagen und können eine Vielzahl von Datentypen verarbeiten. Entscheidungsbäume können jedoch anfällig für eine Überanpassung sein, insbesondere wenn der Baum sehr tief wachsen darf.

5.K Nearest Neighbors (KNN)

K Nearest Neighbors Algorithmus ist eine nichtparametrische Methode, die die Mehrheitsklasse der K nächstgelegenen Beispiele anhand eines Testbeispiels vorhersagt und zur Klassifizierung und Regression verwendet wird.

KNN funktioniert, indem es alle Trainingsbeispiele speichert und dann Vorhersagen auf der Grundlage der K Beispiele im Merkmalsraum trifft, die den Testbeispielen am nächsten liegen. Der Wert von K ist ein vom Praktiker gewählter Hyperparameter. Zur Klassifizierung werden Vorhersagen basierend auf der Mehrheitsklasse der K aktuellen Beispiele getroffen. Für die Regression werden Vorhersagen basierend auf dem Mittelwert oder Median der Zielvariablen über die K aktuellen Beispiele getroffen.

KNN kann rechenintensiv sein, da der Algorithmus den Abstand zwischen dem Testbeispiel und allen Trainingsbeispielen berechnen muss. Es kann auch empfindlich auf die Wahl von K und der Distanzmetrik reagieren. Es dient auch als Basismodell für den Vergleich mit fortgeschritteneren Algorithmen.

6. Naive Bayes

Der Naive Bayes-Algorithmus ist ein probabilistischer Klassifikator, der Vorhersagen auf der Grundlage der Wahrscheinlichkeit des Eintretens bestimmter Ereignisse bei Vorhandensein bestimmter Merkmale trifft. Naive Bayes geht von der „naiven“ Annahme aus, dass alle Merkmale in den Daten bei gegebener Klassenbezeichnung unabhängig voneinander sind. Diese Annahme ist oft unrealistisch, aber der Algorithmus funktioniert trotz dieser Annahme in der Praxis gut.

Es gibt viele Variationen des Naive Bayes-Algorithmus. Gaussian Naive Bayes wird für kontinuierliche Merkmale verwendet und geht davon aus, dass die Merkmale einer Normalverteilung folgen. Polynomial Naive Bayes wird für Zähldaten verwendet und geht davon aus, dass die Merkmale einer Polynomverteilung folgen. Bernoulli Naive Bayes wird für binäre Merkmale verwendet und geht davon aus, dass die Merkmale einer Bernoulli-Verteilung folgen. Naive Bayes ist ein einfacher und effizienter Algorithmus, der einfach zu implementieren und schnell zu trainieren und vorherzusagen ist.

7. Neuronales Netzwerk

Neuronales Netzwerk ist ein maschineller Lernalgorithmus, der von der Struktur und Funktion des Gehirns inspiriert ist. Sie bestehen aus künstlichen Neuronen, die in Schichten miteinander verbunden sind, sogenannte Knoten oder Einheiten. Neuronale Netze können lernen, ein breites Spektrum an Aufgaben auszuführen, darunter Klassifizierung, Regression und Sequenzgenerierung. Sie eignen sich besonders für Aufgaben, die das Erlernen komplexer Zusammenhänge zwischen Eingabedaten und Ausgaben erfordern.

Es gibt viele verschiedene Arten von neuronalen Netzen, darunter Feedforward-Neuronale Netze, Faltungs-Neuronale Netze und wiederkehrende Neuronale Netze. Das vorwärtsgerichtete neuronale Netzwerk ist der grundlegendste Typ eines neuronalen Netzwerks und besteht aus einer Eingabeschicht, einer oder mehreren verborgenen Schichten und einer Ausgabeschicht. Faltungs-Neuronale Netze werden für Aufgaben wie Bildklassifizierung und Objekterkennung eingesetzt und sind für die Verarbeitung von Daten mit einer gitterartigen Struktur, beispielsweise Bildern, konzipiert. Rekurrente neuronale Netze werden für Aufgaben wie Sprachübersetzung und Spracherkennung verwendet und sind für die Verarbeitung sequentieller Daten wie Zeitreihen oder natürlicher Sprache konzipiert.

Neuronale Netze werden mithilfe von Optimierungsalgorithmen wie dem stochastischen Gradientenabstieg trainiert, um eine Verlustfunktion zu minimieren, die den Unterschied zwischen der vorhergesagten und der tatsächlichen Ausgabe misst. Die Gewichte der Verbindungen zwischen Knoten werden während des Trainings angepasst, um Verluste zu minimieren.

8. Random Forest

Der Random Forest-Algorithmus ist eine Ensemble-Methode, die die Vorhersagen mehrerer Entscheidungsbäume kombiniert, um die endgültige Vorhersage zu treffen. Zufällige Wälder werden erstellt, indem viele Entscheidungsbäume auf verschiedenen Teilmengen der Trainingsdaten trainiert und dann die Vorhersagen der einzelnen Bäume gemittelt werden. Dieser Vorgang wird Bootstrapping genannt, da der Baum anhand von Bootstrap-Proben der Daten trainiert wird. Der Bootstrapping-Prozess führt Zufälligkeit in den Baumtrainingsprozess ein, was dazu beiträgt, eine Überanpassung zu reduzieren.

Random Forest wird häufig für Aufgaben wie Klassifizierung, Regression und Merkmalsauswahl verwendet. Sie sind bekannt für ihre Fähigkeit, große Datenmengen mit vielen Funktionen zu verarbeiten und für ihre gute Leistung bei einem breiten Aufgabenspektrum. Sie sind außerdem resistent gegen Überanpassung, was sie zu einer guten Wahl für viele Anwendungen des maschinellen Lernens macht.

9. Boosting-Algorithmus

Boosting ist eine Technik des maschinellen Lernens, bei der eine Reihe schwacher Modelle trainiert und ihre Vorhersagen kombiniert werden, um eine endgültige Vorhersage zu treffen. Beim Boosten werden schwache Modelle nacheinander trainiert, und jedes Modell wird trainiert, um die Fehler des vorherigen Modells zu korrigieren. Die endgültige Vorhersage wird durch die Kombination der Vorhersagen einzelner schwacher Modelle mithilfe einer gewichteten Mehrheitsentscheidung getroffen. Die Gewichte einzelner Modelle werden normalerweise basierend auf der Genauigkeit des Modells ausgewählt. Boosting wird häufig für Aufgaben wie Klassifizierung und Regression verwendet. Es ist bekannt für seine Fähigkeit, bei einer Vielzahl von Aufgaben eine hohe Genauigkeit zu erreichen und große Datenmengen mit vielen Funktionen zu verarbeiten.

Das obige ist der detaillierte Inhalt vonGängige überwachte Lernalgorithmen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!