Python で欠損データを処理および埋める方法のベスト プラクティスとアルゴリズムの選択

Python で欠損データを処理および埋める方法のベスト プラクティスとアルゴリズムの選択

はじめに

データ分析でよく遭遇する欠損値のケース。欠損値の存在は、データ分析とモデルのトレーニングの結果に重大な影響を与える可能性があります。したがって、欠損値の処理と充填はデータ分析の重要な部分となっています。この記事では、Python で欠損データを処理および埋めるためのベスト プラクティスとアルゴリズムの選択を紹介し、具体的なコード例を示します。

データ内の欠損値を処理する一般的な方法

欠損値の削除

欠損値に対処する最も簡単な方法は、欠損のある行または列を直接削除することです。価値観。この方法は、欠損値の割合が小さい場合に適していることがよくあります。 Python では、dropna() メソッドを使用して欠損値を削除できます。

import pandas as pd

# 删除含有缺失值的行
df_dropna = df.dropna()

# 删除含有缺失值的列
df_dropna = df.dropna(axis=1)

内挿法

内挿法は欠損値を埋めるためによく使用される方法で、既存のデータに基づいて欠損値を推定します。 Python ではさまざまな補間方法が提供されており、一般的に使用されるものは線形補間、多項式補間、スプライン補間です。

線形補間

線形補間は、既存のデータ ポイントと線形関係を使用して欠損値を推定する、シンプルで効果的な欠損値充填方法です。 Python では、interpolate() メソッドを使用して線形補間を実行できます。

import pandas as pd

# 线性插值填充缺失值
df_interpolate = df.interpolate()

多項式補間

多項式補間は、多項式フィッティングに基づく欠損値充填方法であり、非線形関係の欠損値をより適切に推定できます。 Python では、polyfit() メソッドを使用して多項式補間を実行できます。

import pandas as pd
import numpy as np

# 多项式插值填充缺失值
df_polyfit = df.interpolate(method='polynomial', order=3)

スプライン補間

スプライン補間は、曲線を当てはめることによって欠損値を埋める方法であり、複雑な非線形関係をより適切に推定できます。 Python では、interpolate() メソッドを使用し、method='spline' を指定してスプライン補間を実行できます。

import pandas as pd

# 样条插值填充缺失值
df_spline = df.interpolate(method='spline', order=3)

平均値、中央値、または最頻値の埋め込み

数値データの場合、欠損値を埋める一般的な方法は、平均値、中央値、または最頻値を使用することです。 Python では、fillna() メソッドを使用して入力できます。

平均値の充填

平均値を使用して欠損値を埋めることは、データ全体の分布特性を維持できるシンプルで効果的な方法です。

import pandas as pd

# 使用均值填充缺失值
mean_value = df.mean()
df_fillna = df.fillna(mean_value)

中央値の充填

中央値を使用して欠損値を埋めることは、データに外れ値が多数ある状況に適しており、外れ値の影響を軽減できます。

import pandas as pd

# 使用中位数填充缺失值
median_value = df.median()
df_fillna = df.fillna(median_value)

モード充填

モードを使用して欠損値を埋めるのは、データの全体的な分布特性を維持できる離散データに適しています。

import pandas as pd

# 使用众数填充缺失值
mode_value = df.mode().iloc[0]
df_fillna = df.fillna(mode_value)

アルゴリズムの選択と評価

欠損値の処理および充填方法を選択して使用する場合は、データ型、欠損値の分布、および問題の要件に基づいて適切な方法を選択する必要があります。同時に、入力されたデータも評価する必要があります。一般的に使用される評価指標には、平均二乗誤差 (MSE) と平均絶対誤差 (MAE) が含まれます。

from sklearn.metrics import mean_squared_error, mean_absolute_error

# 计算均方误差
mse = mean_squared_error(df_true, df_fillna)

# 计算平均绝对误差
mae = mean_absolute_error(df_true, df_fillna)

結論

データ分析では、欠損データ値を処理して埋めることは重要かつ必要なステップです。この記事では、Python でデータの欠損値を処理および代入するためのベスト プラクティスとアルゴリズムの選択について説明し、具体的なコード例を示します。実際の問題のニーズに基づいて、欠損値を処理して埋め、埋められたデータを評価するための適切な方法を選択できます。これにより、データ分析とモデルのトレーニングの精度と有効性が向上します。

以上がPython で欠損データを処理および埋める方法のベスト プラクティスとアルゴリズムの選択の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。