Lesen Sie die Bewertungsindikatoren des Klassifizierungsmodells in einem Artikel

Die Modellbewertung ist ein sehr wichtiger Teil des Deep Learning und des maschinellen Lernens und wird zur Messung der Leistung und Wirksamkeit des Modells verwendet. In diesem Artikel werden die Verwirrungsmatrix, die Genauigkeit, die Präzision, der Rückruf und der F1-Score Schritt für Schritt aufgeschlüsselt Problem, es handelt sich um ein Demonstrationsmodell in der Beispielklassifizierungstabelle. Zeilen repräsentieren tatsächliche Kategorien und Spalten repräsentieren vorhergesagte Kategorien. Für ein binäres Klassifizierungsproblem ist die Struktur der Verwirrungsmatrix wie folgt:

True Positive (TP): Die Anzahl der Proben, die tatsächlich positive Beispiele sind, die das Modell als positive Beispiele vorhersagt, und die Fähigkeit des Modells, positive Instanzen korrekt zu identifizieren. Ein höherer TP ist normalerweise wünschenswert.

Falsch Negativ (FN): Anzahl der Proben, die tatsächlich positiv sind und vom Modell als negativ vorhergesagt wurden. Abhängig von der Anwendung kann dies kritisch sein (z. B. konnten Sicherheitsbedrohungen nicht erkannt werden).

False Positive (FP): Die Anzahl der Proben, die tatsächlich negativ sind und vom Modell als positiv vorhergesagt wurden, wobei Fälle hervorgehoben werden, in denen das Modell positiv vorhersagt, obwohl dies nicht der Fall sein sollte, was je nach Anwendung Konsequenzen haben kann (z. B , unnötige Behandlung in der medizinischen Diagnose)

• True Negative (TN): Die Anzahl der Proben, die tatsächlich negative Beispiele sind und vom Modell als negative Beispiele vorhergesagt werden, spiegelt die Fähigkeit des Modells wider, negative Instanzen korrekt zu identifizieren. Normalerweise ist eine höhere TN erforderlich
• Für Anfänger sieht es chaotisch aus, ist aber eigentlich ziemlich einfach. Das Negativ/Positiv auf der Rückseite ist der Modellvorhersagewert und das Wahr/Falsch auf der Vorderseite ist die Genauigkeit der Modellvorhersage. True Negative bedeutet beispielsweise, dass die Modellvorhersage negativ ist und mit dem tatsächlichen Wert übereinstimmt, dh die Vorhersage ist korrekt. Dies erleichtert das Verständnis. Hier ist eine einfache Verwirrungsmatrix:

from sklearn.metrics import confusion_matrix import seaborn as sns import matplotlib.pyplot as plt # Example predictions and true labels y_true = [1, 0, 1, 1, 0, 1, 0, 0, 1, 0] y_pred = [1, 0, 1, 0, 0, 1, 0, 1, 1, 1] # Create a confusion matrix cm = confusion_matrix(y_true, y_pred) # Visualize the blueprint sns.heatmap(cm, annot=True, fmt="d", cmap="Blues", xticklabels=["Predicted 0", "Predicted 1"], yticklabels=["Actual 0", "Actual 1"]) plt.xlabel("Predicted") plt.ylabel("Actual") plt.show()

Verwenden Sie TP und TN, wenn Sie korrekte Vorhersagen und Gesamtgenauigkeit hervorheben möchten. Verwenden Sie FP und FN, wenn Sie die Arten von Fehlern verstehen möchten, die Ihr Modell macht. Beispielsweise kann bei Anwendungen, bei denen die Kosten für Fehlalarme hoch sind, die Minimierung von Fehlalarmen von entscheidender Bedeutung sein.

Lassen Sie uns als Beispiel über Spam-Klassifikatoren sprechen. Die Verwirrungsmatrix hilft uns zu verstehen, wie viele Spam-E-Mails der Klassifikator richtig identifiziert hat und wie viele Nicht-Spam-E-Mails er fälschlicherweise als Spam markiert hat

Basierend auf der Verwirrungsmatrix können viele andere Bewertungsmetriken berechnet werden, wie z. Rückruf und F1-Ergebnis.

Genauigkeit

Was berechnet wird, ist der Anteil, der korrekt vorhergesagt werden kann. Der Zähler ist, dass sowohl TP als auch TN wahr sind, also die Gesamtzahl der korrekten Vorhersagen von Das Modell

Präzision

Sie berechnet den Anteil der positiven Ergebnisse, d. h. wie viele positive Ergebnisse in den Daten korrekt vorhergesagt werden. Präzision wird daher auch als Präzisionsrate bezeichnet

Dies wird in Situationen sehr wichtig, in denen Fehlalarme erhebliche Folgen oder Kosten haben. Am Beispiel des medizinischen Diagnosemodells wird die Genauigkeit sichergestellt, um sicherzustellen, dass nur diejenigen behandelt werden, die wirklich eine Behandlung benötigen. Der Recall, auch bekannt als Sensitivität oder echte positive Rate, bezieht sich auf das Modell, das alle positiven Klassen erfasst

Wie aus der Formel ersichtlich ist, besteht ihr Hauptzweck darin, die Anzahl der tatsächlich vom Modell erfassten positiven Beispiele zu berechnen, also den Anteil der positiven Beispiele. Daher wird Recall auch Recall-Rate genannt

F1-Score

Die Berechnungsformel des F1-Scores lautet: F1 = 2 * (Präzision * Rückruf) / (Präzision + Rückruf) Unter ihnen bezieht sich die Präzision auf den Anteil der vom Modell als positive Beispiele vorhergesagten Proben, die tatsächlich positive Beispiele sind; die Rückrufrate bezieht sich auf das Verhältnis der Anzahl der vom Modell korrekt als positive Beispiele vorhergesagten Proben zur Anzahl der tatsächlich positiven Beispiele positive Beispiele. Der F1-Score ist das harmonische Mittel aus Präzision und Erinnerung, das die Genauigkeit und Vollständigkeit des Modells umfassend berücksichtigen kann, um die Leistung des Modells zu bewerten

F1-Score ist wichtig, weil er Präzision und Erinnerung bietet. Ein Kompromiss zwischen den Tarifen. Wenn Sie ein Gleichgewicht zwischen Präzision und Erinnerung finden möchten oder für allgemeine Anwendungen, können Sie F1 Score

verwenden

Zusammenfassung

In diesem Artikel haben wir die Verwirrungsmatrix, die Genauigkeit, die Präzision, den Rückruf und den F1-Score im Detail vorgestellt und darauf hingewiesen, dass diese Indikatoren die Leistung des Modells effektiv bewerten und verbessern können

Das obige ist der detaillierte Inhalt vonLesen Sie die Bewertungsindikatoren des Klassifizierungsmodells in einem Artikel. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!