Comment puis-je combiner plusieurs fichiers CSV dans un seul DataFrame Pandas en Python ?

Fusionner plusieurs fichiers CSV dans un seul DataFrame en Python

Le but de cette tâche est d'importer plusieurs fichiers CSV d'un répertoire dans un seul DataFrame pandas. Voici comment y parvenir :

Importation des bibliothèques nécessaires

Tout d'abord, importez les bibliothèques nécessaires à la gestion des fichiers et des données :

import pandas as pd
import glob
import os

Lecture et concaténation de fichiers CSV

Pour lire et concaténer les fichiers CSV, suivez ces étapes :

1. Obtenir les noms de fichiers : Utilisez glob.glob() pour obtenir une liste des noms de fichiers CSV dans le répertoire spécifié.
2. Lire Fichiers et créer des DataFrames : Lisez chaque fichier CSV dans un pandas DataFrame.
3. Concaténer des DataFrames : Utilisez la méthode pd.concat() pour concaténer tous les DataFrames en un seul DataFrame.

Code de concaténation

Voici un exemple de code qui combine ces éléments étapes :

# Get file names
path = r"C:\DRO\DCL_rawdata_files"
filenames = glob.glob(os.path.join(path, "*.csv"))

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename, header=0))

# Concatenate data into one DataFrame
big_frame = pd.concat(dfs, ignore_index=True)

Ajout d'une identité aux DataFrames

Pour différencier les données de différents fichiers CSV, vous pouvez ajouter une nouvelle colonne pour identifier chaque fichier. Voici quelques options pour ce faire :

Option 1 : Ajouter le nom du fichier en tant que colonne

for df in dfs:
    df["file_name"] = df.file_name.str.split("\").str[-1].str.split(".")[0]

Option 2 : Ajouter la source du fichier en tant que colonne Colonne

df["Source"] = np.repeat([f"File{i}" for i in range(len(dfs))], [len(df) for df in dfs])

Conclusion

En suivant ces étapes, vous pouvez importer efficacement plusieurs Fichiers CSV dans un seul DataFrame cohérent en Python, ce qui facilite l'analyse et le traitement des données provenant de diverses sources.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!