分類モデルの評価指標を 1 つの記事で読む

モデル評価はディープラーニングと機械学習の非常に重要な部分であり、モデルのパフォーマンスと効果を測定するために使用されます。この記事では、混同マトリックス、精度、適合率、再現率、F1 スコアを段階的に詳しく説明します

混同マトリックス

##混同行列は、分類問題におけるモデルのパフォーマンスを評価するために使用され、モデルがサンプルをどのように分類するかを示す表です。行は実際のカテゴリを表し、列は予測されたカテゴリを表します。 2 分類問題の場合、混同行列の構造は次のとおりです。

真陽性 (TP):は実際には正の例であり、モデルは正の例の数と正の例を正しく識別するモデルの能力を予測します。通常、より高い TP が望ましいです。
偽陰性 (FN): 実際には陽性であり、モデルによって陰性であると予測されるサンプルの数。アプリケーションによっては、これが重要になる場合があります (たとえば、 、セキュリティ上の脅威の検出に失敗します）。
False Positive (FP): 実際には陰性例であり、モデルが陽性例を予測するサンプルの数。モデルが陽性を予測すべきでないときに陽性例を予測する状況を強調します。これはアプリケーションに応じた結果をもたらす可能性があります (医療診断における不必要な治療など)
真陰性 (TN): 実際には陰性であり、モデルによって陰性であると予測されたサンプルの数、ネガティブなインスタンスを正しく識別するモデルの能力を反映しています。通常、より高い TN
初心者にとってはわかりにくいように思えるかもしれませんが、実際は非常に簡単です。後ろの Negative/Positive はモデルの予測値、手前の True/False はモデルの予測の精度です。たとえば、True Negative は、モデルの予測が負であり、実際の値と一致している、つまり予測が正しいことを意味します。これにより、理解しやすくなります。単純な混同行列を次に示します。

from sklearn.metrics import confusion_matrix import seaborn as sns import matplotlib.pyplot as plt # Example predictions and true labels y_true = [1, 0, 1, 1, 0, 1, 0, 0, 1, 0] y_pred = [1, 0, 1, 0, 0, 1, 0, 1, 1, 1] # Create a confusion matrix cm = confusion_matrix(y_true, y_pred) # Visualize the blueprint sns.heatmap(cm, annot=True, fmt="d", cmap="Blues", xticklabels=["Predicted 0", "Predicted 1"], yticklabels=["Actual 0", "Actual 1"]) plt.xlabel("Predicted") plt.ylabel("Actual") plt.show()

正しい予測と全体的な精度を強調したい場合は、TP と TN を使用します。モデルで発生するエラーの種類を理解したい場合は、FP と FN を使用します。たとえば、誤検知のコストが高いアプリケーションでは、誤検知を最小限に抑えることが重要になる場合があります。

例として、スパム分類器について説明します。混同行列は、分類器が正しく識別したスパムメールの数と、誤ってスパムとしてマークされた非スパムメールの数を理解するのに役立ちます。

混同行列に基づいて、他の多くのメールを計算できます。精度、精度、再現率、F1 スコアなどの評価指標。

#精度

##上記の概要によれば、計算されるのは正しく予測できる割合です。分子は TP と TN の両方が True であり、これはモデルによる正しい予測の総数です。

精度

式をご覧ください。これは陽性の割合、つまりデータ内の陽性の数が正しく予測されることを計算するため、精度は精度率とも呼ばれます

#これは、誤検知が重大な結果やコストをもたらす状況で重要になります。医療診断モデルを例に挙げると、本当に治療が必要な人だけが治療を受けられるよう精度を確保します

Recall

Recall回収率とも呼ばれる率は感度または真陽性率であり、すべての陽性例を捕捉するモデルの能力を指します。式からわかるように、その主な目的は、モデルによって捕捉された実際の正例の数、つまり正例の割合を計算することです。したがって、再現率は再現率とも呼ばれます

F1 スコア

F1 スコアの計算式は次のとおりです。 F1 = 2 * (精度 * リコール) / (精度のリコール) このうち、適合率とは、モデルによって陽性例として予測されたサンプルのうち、実際に陽性例であるサンプルの割合を指し、再現率とは、モデルによって陽性例として正しく予測されたサンプル数と、実際に陽性例であるサンプル数の割合を指します。ポジティブな例。 F1 スコアは精度と再現率の調和平均であり、モデルの精度と包括性を総合的に考慮してモデルのパフォーマンスを評価できます。 F1 スコアは、精度と再現率の間のトレードオフを提供するため重要です。精度と再現率のバランスを見つけたい場合、または一般的なアプリケーションの場合は、F1 スコア

を使用できます。

總結

在本文中，我們詳細介紹了混淆矩陣、準確度、精確度、召回率和F1分數，並指出這些指標可以有效評估和提升模型的效能

以上が分類モデルの評価指標を 1 つの記事で読むの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。