在 Python 中處理離群值 - IQR 方法

介紹

在從現實世界的數據中發現任何見解之前，檢查您的數據以確保數據一致且沒有錯誤非常重要。但是，資料可能包含錯誤，而某些值可能看起來與其他值不同，這些值稱為異常值。異常值會對數據分析產生負面影響，導致錯誤的見解，從而導致利害關係人做出錯誤的決策。因此，處理異常值是資料科學中資料預處理階段的關鍵步驟。在本文中，我們將評估處理異常值的不同方法。

異常值

異常值是與資料集中的大多數資料點顯著不同的資料點。它們是超出特定變數的預期或通常值範圍的值。異常值的出現有多種原因，例如資料輸入過程中的錯誤、取樣錯誤。在機器學習中，異常值可能會導致您的模型做出錯誤的預測，從而導致預測不準確。

使用 Jupyter Notebook 偵測資料集中的異常值

• 導入Python庫

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')
plt.style.use('ggplot')

• 使用 pandas 載入 csv 文件

df_house_price = pd.read_csv(r'C:\Users\Admin\Desktop\csv files\housePrice.csv')

• 檢查前五行房價資料集，以了解您的資料框架

df_house_price.head()

• 使用箱線圖檢查價格列中的異常值

sns.boxplot(df_house_price['Price'])
plt.title('Box plot showing outliers in prices')
plt.show()

• 從箱線圖視覺化中，價格列具有異常值
• 現在我們必須想出方法來處理這些異常值，以確保更好的決策並確保機器學習模型做出正確的預測

IQR 處理異常值的方法

• IQR 方法意味著四分位數間距衡量資料中間一半的分佈。這是樣本中間 50% 的範圍。

使用四分位數距刪除異常值的步驟

• 計算第一個四分位數 (Q1)，即資料的 25% 和第三四分位數 (Q3)，即資料的 75%。

Q1 = df_house_price['Price'].quantile(0.25)
Q3 = df_house_price['Price'].quantile(0.75)

• 計算四分位數範圍

IQR = Q3 - Q1

• 確定異常值邊界。

lower_bound = Q1 - 1.5 * IQR

• 下限表示任何低於 -5454375000.0 的值都是異常值

upper_bound = Q3 + 1.5 * IQR

• 上限表示任何高於 12872625000.0 的值都是異常值

• 刪除價格列中的異常值
  

filt = (df_house_price['Price'] >= lower_bound) & (df_house_price['Price'] <= upper_bound)

df = df_house_price[filt]
df.head()

• 移除異常值後的箱線圖

sns.boxplot(df['Price'])
plt.title('Box plot after removing outliers')
plt.show()

處理異常值的不同方法

• Z 分數法
• 百分位數上限（縮尾）
• 修剪（截斷）
• 插補
• 基於聚類的方法，例如 DBSCAN

結論

IQR 方法簡單且對異常值具有穩健性，且不依賴常態性假設。缺點是它只能處理單變量數據，如果數據傾斜或有重尾，它會刪除有效的數據點。

謝謝
在連結和 github 上關注我以了解更多資訊。

以上是在 Python 中處理離群值 - IQR 方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！