學會這些技巧,讓數據更整潔:簡單介紹Pandas的去重方法

王林
發布: 2024-01-24 08:02:06
原創
720 人瀏覽過

學會這些技巧,讓數據更整潔:簡單介紹Pandas的去重方法

Pandas去重方法簡介:學會使用這些技巧,讓資料更乾淨,需要具體程式碼範例

概述:
在資料分析和處理中,我們經常會遇到需要處理重複資料的情況。重複資料的存在可能會導致分析結果的偏倚,因此去重是一個非常重要且基本的資料處理操作。 Pandas提供了多種去重方法,本文將簡要介紹其中常用的技巧,並提供一些具體的程式碼範例。

方法一:drop_duplicates()
Pandas的drop_duplicates()方法是最常用的去重方法之一。它可以根據指定的列來刪除資料中的重複行。預設情況下,方法會保留第一次出現的重複值,而將後續出現的重複值刪除。以下是一個程式碼範例:

import pandas as pd

建立一個包含重複資料的DataFrame

data = {'A': [1, 2, 3, 4 , 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f']}
登入後複製
登入後複製
登入後複製

df = pd.DataFrame(data)

使用drop_duplicates()方法移除重複行

df.drop_duplicates(inplace=True )

print(df)

運行以上程式碼,將得到一個移除了重複行的DataFrame。

方法二:duplicated()和~運算子
除了drop_duplicates()方法,我們也可以使用duplicated()方法來判斷每一行是否為重複行,然後利用~運算子取反來選取非重複行。以下是一個程式碼範例:

import pandas as pd

建立一個包含重複資料的DataFrame

data = {'A': [1, 2, 3, 4 , 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f']}
登入後複製
登入後複製
登入後複製

df = pd.DataFrame(data)

使用duplicated()和~運算子去除重複行

#df = df[ ~df.duplicated()]

print(df)

執行上述程式碼,將得到與前面方法一相同的結果。

方法三:subset參數
drop_duplicates()方法也提供了subset參數,它可以指定一個或多個欄位來決定重複行。以下是一個程式碼範例:

import pandas as pd

建立一個包含重複資料的DataFrame

data = {'A': [1, 2, 3, 4 , 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f'],
    'C': ['x', 'y', 'y', 'z', 'z', 'y', 'z']}
登入後複製
登入後複製

df = pd.DataFrame(data)

使用subset參數去除特定列的重複行

df.drop_duplicates(subset= ['A', 'B'], inplace=True)

print(df)

#運行上述程式碼,將得到根據'A'和'B'列去除重複行的結果。

方法四:keep參數
drop_duplicates()方法的keep參數可以設定為'last',從而保留重複值中的最後一個。以下是一個程式碼範例:

import pandas as pd

建立一個包含重複資料的DataFrame

data = {'A': [1, 2, 3, 4 , 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f']}
登入後複製
登入後複製
登入後複製

df = pd.DataFrame(data)

使用keep參數保留重複值的最後一個

df.drop_duplicates(keep= 'last', inplace=True)

print(df)

執行以上程式碼,將會得到保留重複值的最後一個的結果。

方法五:使用主鍵重
當處理包含多個列的DataFrame時,我們可以使用set_index()方法設定一個或多個列為主鍵,然後使用drop_duplicates()方法去除重複行。以下是一個程式碼範例:

import pandas as pd

建立一個包含重複資料的DataFrame

data = {'A': [1, 2, 3, 4 , 4, 5, 6],

    'B': ['a', 'b', 'c', 'd', 'd', 'e', 'f'],
    'C': ['x', 'y', 'y', 'z', 'z', 'y', 'z']}
登入後複製
登入後複製

df = pd.DataFrame(data)

使用set_index()方法設定'A'和'B'列為主鍵,然後使用drop_duplicates( )方法去除重複行

df.set_index(['A', 'B'], inplace=True)
df = df[~df.index.duplicated()]


################################################################################################### #print(df)######運行以上程式碼,將得到根據'A'和'B'列移除重複行的結果。 ######總結:###本文簡單介紹了Pandas中幾種常用的去重方法,包括drop_duplicates()方法、duplicated()和~操作符、subset參數、keep參數以及使用主鍵去重的方法。透過學習並靈活運用這些技巧,我們可以更方便地處理重複數據,使數據更乾淨,為後續的數據分析和處理提供可靠的基礎。希望這篇文章對你在學習Pandas的過程中有幫助。 ###

以上是學會這些技巧,讓數據更整潔:簡單介紹Pandas的去重方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板