資料預處理是在將資料集用於機器學習或其他任務之前對資料集執行某些操作或步驟的行為。資料預處理涉及清理、格式化或轉換數據，以提高其品質或確保其適合其主要目的（在本例中為訓練模型）。乾淨且高品質的資料集可以增強機器學習模型的效能。
低品質資料的常見問題包括：
在本文中，我將向您展示一些常見的資料預處理技術，以準備用於訓練模型的資料集。您將需要 Python 的基本知識以及如何使用 Python 程式庫和框架。
要求：
為了充分利用本指南，需要滿足以下條件
您也可以在 Github 上查看這些 Jupyter 筆記本中每個程式碼的輸出。
如果您還沒有安裝Python，可以從Python網站下載並依照指示進行安裝。
安裝 Python 後，安裝所需的函式庫
pip install numpy scipy pandas scikit-learn
安裝 Jupyter Notebook。
pip install notebook
安裝後，使用以下指令啟動 Jupyter Notebook
jupyter notebook
這將在您的預設網頁瀏覽器中啟動 Jupyter Notebook。如果沒有，請檢查終端是否有可以手動貼上到瀏覽器中的連結。
從「檔案」選單開啟一個新筆記本，匯入所需的庫並執行單元
import numpy as np import pandas as pd import scipy import sklearn
前往墨爾本住房資料集網站並下載資料集。使用以下程式碼將資料集載入到筆記本中。您可以複製電腦上的檔案路徑以貼上到 read_csv 函數中。您也可以將 csv 文件放在與筆記本相同的資料夾中，然後匯入文件，如下所示。
data = pd.read_csv(r"melb_data.csv") # View the first 5 columns of the dataset data.head()
將資料分為訓練集和驗證集
from sklearn.model_selection import train_test_split # Set the target y = data['Price'] # Firstly drop categorical data types melb_features = data.drop(['Price'], axis=1) #drop the target column X = melb_features.select_dtypes(exclude=['object']) # Divide data into training and validation sets X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)
您必須將資料拆分為訓練集和驗證集，以防止資料外洩。因此，您對訓練特徵集執行的任何預處理技術都與您對驗證特徵集執行的預處理技術相同。
現在資料集已準備好進行處理！
處理缺失值
資料集中的缺失值就像布料上的洞，應該用來縫製裙子。衣服還沒做好就已經被它弄壞了。
有 3 種方法來處理資料集中的缺失值。
pip install numpy scipy pandas scikit-learn
此方法的問題是您可能會丟失用於訓練模型的有價值的資訊。除非刪除的行或列中的大多數值遺失，否則無需刪除包含空白儲存格的行或列。
pip install notebook
jupyter notebook
重複刪除
重複的單元格意味著重複的數據，它會影響模型的準確性。對付它們的唯一方法就是丟掉它們。
import numpy as np import pandas as pd import scipy import sklearn
處理異常值
異常值是與資料集中的其他值顯著不同的值。與其他資料值相比，它們可能異常高或異常低。它們可能是由於輸入錯誤而出現，也可能確實是異常值。
處理異常值非常重要，否則它們將導致數據分析或模型不準確。檢測異常值的一種方法是計算 z 分數。
它的工作方式是使用 z 分數來檢查資料點是否距離平均值 3 點或更多。此計算針對每個數據點進行。如果資料點的 z 分數等於 3 或更高值，則該資料點為異常值。
data = pd.read_csv(r"melb_data.csv") # View the first 5 columns of the dataset data.head()
標準化
您對特徵進行標準化，以便將它們描述為常態分佈。
常態分佈（也稱為高斯分佈）是一種統計分佈，其中平均值上方和下方的距離或分佈大致相等。常態分佈資料的資料點圖形形成鐘形曲線。
標準化資料的要點是您要使用的機器學習演算法是否假設資料呈常態分佈。一個例子是高斯樸素貝葉斯模型。
from sklearn.model_selection import train_test_split # Set the target y = data['Price'] # Firstly drop categorical data types melb_features = data.drop(['Price'], axis=1) #drop the target column X = melb_features.select_dtypes(exclude=['object']) # Divide data into training and validation sets X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)
標準化
標準化將資料集的特徵轉換為平均值 0 和標準差 1。此過程對每個特徵進行縮放，使其在資料中具有相似的範圍。這確保了每個功能對模型訓練的貢獻平等。
在以下情況下使用標準化：
您可以使用 sklearn 庫中的 StandardScaler() 來標準化特徵。
pip install numpy scipy pandas scikit-learn
資料預處理不只是一個初步階段。這是建立準確的機器學習模型過程的一部分。它還可以進行調整以滿足您正在使用的資料集的需求。
與大多數活動一樣，熟能生巧。當您繼續預處理資料時，您的技能和模型都會提高。
我很想聽聽您對此的想法？
以上是ML 模型的資料預處理技術的詳細內容。更多資訊請關注PHP中文網其他相關文章！
