Comment identifier efficacement les lignes uniques dans les DataFrames Pandas lors de la comparaison de deux DataFrames ?

Obtention de lignes uniques dans les DataFrames Pandas

Étant donné deux dataframes Pandas, il est souvent nécessaire d'identifier les lignes qui existent dans un seul d'entre eux. Ceci peut être réalisé efficacement en utilisant une opération de fusion.

Par exemple, considérons les dataframes suivants :

df1 = pd.DataFrame(data={'col1': [1, 2, 3, 4, 5, 3], 'col2': [10, 11, 12, 13, 14, 10]})
df2 = pd.DataFrame(data={'col1': [1, 2, 3], 'col2': [10, 11, 12]})

Pour obtenir des lignes de df1 qui ne sont pas présentes dans df2, nous pouvons effectuer une jointure à gauche entre df1 et df2. Pour garantir que chaque ligne de df1 correspond à exactement une ligne de df2, nous devons d'abord supprimer les lignes en double de df2. Nous pouvons le faire en utilisant la fonction drop_duplicates().

df_all = df1.merge(df2.drop_duplicates(), on=['col1', 'col2'], how='left', indicator=True)

La trame de données df_all résultante aura une colonne supplémentaire nommée _merge qui indique si chaque ligne provient à la fois de df1 et df2 (« les deux »), de df1 uniquement ("left_only"), ou de df2 uniquement ("right_only").

   col1  col2     _merge
0     1    10       both
1     2    11       both
2     3    12       both
3     4    13  left_only
4     5    14  left_only
5     3    10  left_only

Pour extraire les lignes de df1 qui ne sont pas présents dans df2, on peut simplement sélectionner les lignes où _merge est égal à 'left_only' :

rows_not_in_df2 = df_all[df_all['_merge'] == 'left_only']

   col1  col2
0     4    13
1     5    14
2     3    10

Éviter les approches incorrectes

Il est important d’éviter les solutions incorrectes qui ne prennent pas en compte les lignes dans leur ensemble. Certaines solutions vérifient uniquement si chaque valeur individuelle d'une ligne existe dans l'autre dataframe, ce qui peut conduire à des résultats incorrects.

Par exemple, si nous avions ajouté une autre ligne à df1 avec les données [3, 10], qui est également présent dans df2, les approches incorrectes l'identifieraient toujours comme n'étant pas présent dans df2 car il a des valeurs différentes dans les deux colonnes. Cependant, notre approche l'identifiera correctement comme n'étant pas présent car il est déjà dans df2 avec les mêmes valeurs pour les deux colonnes.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!