評估機器學習分類模型

WBOY
發布: 2024-09-07 14:01:07
原創
1130 人瀏覽過

概要

  • 模型評估的目標是什麼?
  • 模型評估的目的是什麼,有哪些 常見的評估程序?
  • 分類準確率有什麼用,它的作用是什麼 限制?
  • 混淆矩陣如何描述 分類器?
  • 可以從混淆矩陣計算哪些指標?

T模型評估的目標是回答問題;

不同型號如何選擇?

評估機器學習的過程有助於確定模型的應用可靠性和有效性。這涉及評估不同的因素,例如其性能、指標以及預測或決策的準確性。

無論您選擇使用什麼模型,您都需要一種在模型之間進行選擇的方法:不同的模型類型、調整參數和功能。此外,您還需要一個模型評估程式來估計模型對未見過的資料的泛化能力。最後,您需要一個評估程序來與其他程序配合,以量化您的模型性能。

在我們繼續之前,讓我們回顧一下一些不同的模型評估程序及其運作方式。

模型評估程序及其運作方式。

  1. 使用相同資料進​​行訓練和測試
    • 獎勵過於複雜的模型,這些模型「過度擬合」訓練資料且不一定具有泛化能力
  2. 訓練/測試分開
    • 將資料集分成兩部分,以便可以在不同的資料上訓練和測試模型
    • 更好地估計樣本外性能,但仍然是「高方差」估計
    • 因其速度、簡單性和靈活性而有用
  3. K 折交叉驗證
    • 系統地建立「K」個訓練/測試分組並將結果一起平均
    • 更好地估計樣本外表現
    • 運行速度比訓練/測試分開慢「K」倍。

從上面我們可以推論出:

  • 對相同數據進行訓練和測試是過度擬合的一個典型原因,在這種情況下,您建立的模型過於複雜,無法泛化到新數據,而且實際上沒有用。

  • Train_Test_Split 可以更好地估計樣本外效能。

  • 透過系統性地進行 K 次訓練測試分割並將結果平均在一起,K 折交叉驗證效果更好。

總之,train_tests_split 由於其速度和簡單性,對於交叉驗證來說仍然是有利可圖的,這就是我們將在本教程中使用的內容。

模型評估指標:

您始終需要一個評估指標來配合您選擇的程序,而您選擇的指標取決於您要解決的問題。對於分類問題,可以使用分類精度。但我們將在本指南中重點關注其他重要的分類評估指標。

在我們學習任何新的評估指標之前,讓我們回顧一下分類準確性,並討論它的優點和缺點。

分類準確率

我們為本教學選擇了 Pima Indians 糖尿病資料集,其中包括 768 名患者的健康資料和糖尿病狀況。

Evaluating A Machine Learning Classification Model

讓我們讀取資料並列印前 5 行資料。如果患者患有糖尿病,則標籤欄顯示 1,如果患者沒有糖尿病,則標籤欄顯示 0,我們要回答的問題是:

問題: 我們可以根據患者的健康測量結果預測其糖尿病狀況嗎?

我們定義特徵量測 X 和反應向量 Y。我們使用 train_test_split 將 X 和 Y 分成訓練集和測試集。

Evaluating A Machine Learning Classification Model

接下來,我們在訓練集上訓練邏輯迴歸模型。在擬合步驟中,logreg 模型物件正在學習 X_train 和 Y_train 之間的關係。最後我們對測試集進行類別預測。

Evaluating A Machine Learning Classification Model

Evaluating A Machine Learning Classification Model

現在,我們已經對測試集進行了預測,我們可以計算分類準確率,簡單來說就是正確預測的百分比。

Evaluating A Machine Learning Classification Model

但是,每當您使用分類準確性作為評估指標時,將其與空準確性進行比較非常重要,這是透過始終預測最頻繁的類別可以獲得的準確性。

Evaluating A Machine Learning Classification Model

空準確率回答了問題;如果我的模型能夠 100% 預測主要類別,那麼它正確的機率是多少?在上面的場景中,y_test 的 32% 為 1(個)。換句話說,預測患者患有糖尿病的愚蠢模型68% 的時間是正確的(即零)。這提供了一個基線,我們可能希望根據該基線來衡量邏輯迴歸模型。

當我們比較 68% 的空精度和 69% 的模型精度時,我們的模型看起來不太好。這表明分類準確性作為模型評估指標的一個弱點。分類準確性並不能告訴我們有關測試測試的基本分佈的任何資訊。

總結:

  • 分類準確度是最容易理解的分類指標
  • 但是,它不會告訴您回應值的底層分佈
  • 並且,它不會告訴您分類器正在產生什麼錯誤「類型」

現在讓我們來看看混淆矩陣。

混淆矩陣

混淆矩陣是描述分類模型表現的表格。
它有助於幫助您了解分類器的性能,但它不是模型評估指標;所以你不能告訴 scikit learn 選擇具有最佳混淆矩陣的模型。然而,有許多指標可以從混淆矩陣中計算出來,並且可以直接用於在模型之間進行選擇。

Evaluating A Machine Learning Classification Model

  • 測試集中的每個觀察結果都在恰好一個盒子中表示
  • 這是一個 2x2 矩陣,因為有 2 個反應類別
  • 此處顯示的格式通用

讓我們解釋一下它的一些基本術語。

  • 真陽性 (TP):我們正確預測他們確實患有糖尿病
  • 真陰性 (TN):我們正確預測他們沒有患有糖尿病
  • 誤報 (FP):我們錯誤地預測他們確實患有糖尿病(「I 類錯誤」)
  • 假陰性 (FN):我們錯誤地預測他們沒有患有糖尿病(「II 型錯誤」)

讓我們來看看如何計算指標

Evaluating A Machine Learning Classification Model

Evaluating A Machine Learning Classification Model

Evaluating A Machine Learning Classification Model

結論:

  • 混淆矩陣為您提供更完整的圖片您的分類器的執行情況
  • 還允許您計算各種分類指標,這些指標可以指導您的模型選擇

以上是評估機器學習分類模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:dev.to
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板