不同型號如何選擇?
評估機器學習的過程有助於確定模型的應用可靠性和有效性。這涉及評估不同的因素,例如其性能、指標以及預測或決策的準確性。
無論您選擇使用什麼模型,您都需要一種在模型之間進行選擇的方法:不同的模型類型、調整參數和功能。此外,您還需要一個模型評估程式來估計模型對未見過的資料的泛化能力。最後,您需要一個評估程序來與其他程序配合,以量化您的模型性能。
在我們繼續之前,讓我們回顧一下一些不同的模型評估程序及其運作方式。
從上面我們可以推論出:
對相同數據進行訓練和測試是過度擬合的一個典型原因,在這種情況下,您建立的模型過於複雜,無法泛化到新數據,而且實際上沒有用。
Train_Test_Split 可以更好地估計樣本外效能。
透過系統性地進行 K 次訓練測試分割並將結果平均在一起,K 折交叉驗證效果更好。
總之,train_tests_split 由於其速度和簡單性,對於交叉驗證來說仍然是有利可圖的,這就是我們將在本教程中使用的內容。
您始終需要一個評估指標來配合您選擇的程序,而您選擇的指標取決於您要解決的問題。對於分類問題,可以使用分類精度。但我們將在本指南中重點關注其他重要的分類評估指標。
在我們學習任何新的評估指標之前,讓我們回顧一下分類準確性,並討論它的優點和缺點。
我們為本教學選擇了 Pima Indians 糖尿病資料集,其中包括 768 名患者的健康資料和糖尿病狀況。
讓我們讀取資料並列印前 5 行資料。如果患者患有糖尿病,則標籤欄顯示 1,如果患者沒有糖尿病,則標籤欄顯示 0,我們要回答的問題是:
問題: 我們可以根據患者的健康測量結果預測其糖尿病狀況嗎?
我們定義特徵量測 X 和反應向量 Y。我們使用 train_test_split 將 X 和 Y 分成訓練集和測試集。
接下來,我們在訓練集上訓練邏輯迴歸模型。在擬合步驟中,logreg 模型物件正在學習 X_train 和 Y_train 之間的關係。最後我們對測試集進行類別預測。
現在,我們已經對測試集進行了預測,我們可以計算分類準確率,簡單來說就是正確預測的百分比。
但是,每當您使用分類準確性作為評估指標時,將其與空準確性進行比較非常重要,這是透過始終預測最頻繁的類別可以獲得的準確性。
空準確率回答了問題;如果我的模型能夠 100% 預測主要類別,那麼它正確的機率是多少?在上面的場景中,y_test 的 32% 為 1(個)。換句話說,預測患者患有糖尿病的愚蠢模型68% 的時間是正確的(即零)。這提供了一個基線,我們可能希望根據該基線來衡量邏輯迴歸模型。
當我們比較 68% 的空精度和 69% 的模型精度時,我們的模型看起來不太好。這表明分類準確性作為模型評估指標的一個弱點。分類準確性並不能告訴我們有關測試測試的基本分佈的任何資訊。
總結:
現在讓我們來看看混淆矩陣。
混淆矩陣是描述分類模型表現的表格。
它有助於幫助您了解分類器的性能,但它不是模型評估指標;所以你不能告訴 scikit learn 選擇具有最佳混淆矩陣的模型。然而,有許多指標可以從混淆矩陣中計算出來,並且可以直接用於在模型之間進行選擇。
讓我們解釋一下它的一些基本術語。
讓我們來看看如何計算指標
結論:
以上是評估機器學習分類模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!