Comment extraire efficacement les lignes d'un DataFrame Pandas qui sont absentes dans un autre ?

Récupération de lignes d'une trame de données qui sont exclues d'une autre

Chez les pandas, il est courant d'avoir plusieurs trames de données avec des données potentiellement superposées. Une tâche fréquente consiste à isoler les lignes d’une trame de données qui ne sont pas présentes dans une autre. Cette opération est particulièrement utile lorsque vous travaillez avec des sous-ensembles ou filtrez des données.

Formulation du problème :

Étant donné deux dataframes pandas, où df1 contient un sur-ensemble de lignes par rapport à df2, notre objectif est d'obtenir les lignes de df1 qui ne se trouvent pas dans df2. L'exemple ci-dessous illustre ce scénario avec un cas simple :

import pandas as pd

df1 = pd.DataFrame(data={'col1': [1, 2, 3, 4, 5], 'col2': [10, 11, 12, 13, 14]})
df2 = pd.DataFrame(data={'col1': [1, 2, 3], 'col2': [10, 11, 12]})

print(df1)
print(df2)

# Expected result:
#   col1  col2
# 3     4    13
# 4     5    14

Solution :

Pour résoudre efficacement ce problème, nous utilisons une technique connue sous le nom de jointure gauche. Cette opération fusionne df1 et df2 tout en garantissant que toutes les lignes de df1 sont conservées. De plus, nous incluons une colonne d'indicateurs pour identifier l'origine de chaque ligne après la fusion. En exploitant les lignes uniques de df2 et en excluant les doublons, nous obtenons le résultat souhaité.

Le code python ci-dessous implémente cette solution :

df_all = df1.merge(df2.drop_duplicates(), on=['col1', 'col2'], how='left', indicator=True)
result = df_all[df_all['_merge'] == 'left_only']

Explication :

1. Jointure gauche : La fonction de fusion effectue une jointure gauche entre df1 et df2.drop_duplicates(). Cette opération fusionne les lignes de df1 avec les lignes de df2 en fonction des valeurs correspondantes dans les colonnes col1 et col2.
2. Indicateur de fusion : Le paramètre d'indicateur est défini sur True pour inclure une colonne supplémentaire nommée _merge dans la trame de données résultante df_all. Cette colonne indique l'origine de chaque ligne : "both" pour les lignes qui existent à la fois dans df1 et df2, "left_only" pour les lignes exclusives à df1 et "right_only" pour les lignes exclusives à df2.
3. Filtrer par 'left_only' : Pour isoler les lignes de df1 qui ne sont pas dans df2, nous filtrons la trame de données df_all en vérifiant les lignes avec _merge égal à 'left_only'. Cela nous donne le résultat souhaité.

Éviter les pièges courants :

Il est important de noter que certaines solutions peuvent vérifier de manière incorrecte les valeurs de colonnes individuelles au lieu de correspondre. rangées dans leur ensemble. De telles approches peuvent conduire à des résultats incorrects, comme illustré dans l'exemple ci-dessous :

~df1.col1.isin(common.col1) & ~df1.col2.isin(common.col2)

Ce code ne prend pas en compte l'occurrence conjointe de valeurs dans les lignes et peut produire des résultats incorrects lorsque les lignes de df1 ont des valeurs qui apparaissent individuellement. dans df2 mais pas dans la même ligne.

En adoptant l'approche de jointure gauche décrite ci-dessus, nous nous assurons que les lignes dérivées sont correctement identifiées comme exclusives à df1. Cette technique fournit une solution fiable et efficace pour extraire des lignes présentes dans une trame de données mais pas dans une autre.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!