Wie kann ich mehrere CSV-Dateien effizient in einem einzigen Pandas-DataFrame verketten und die Datenherkunft verfolgen?

Verketten mehrerer CSV-Dateien in einem einzigen DataFrame

Problemstellung

Um mehrere CSV-Dateien effizient in einem einheitlichen DataFrame zu kombinieren, eine prägnante und zuverlässige Lösung wird gesucht. Allerdings ist innerhalb der Verkettungsschleife eine Hürde aufgetreten.

Lösung

Um das Problem zu beheben und die CSV-Dateien erfolgreich zu verketten, kann das folgende umfassende Code-Snippet verwendet werden:

import os
import pandas as pd
from pathlib import Path

path = r'C:\DRO\DCL_rawdata_files'
all_files = Path(path).glob('*.csv')

df = pd.concat((pd.read_csv(f) for f in all_files), ignore_index=True)

Dieser Code verwendet einen Generatorausdruck, um jede CSV-Datei einzeln zu lesen und sie dann in einem einzigen DataFrame zu verketten. Der Parameter „ignore_index“ stellt sicher, dass der verkettete DataFrame über fortlaufende Zeilenindizes verfügt.

Hinzufügen von Informationen zur Identifizierung der Datenherkunft

In bestimmten Szenarien kann es von Vorteil sein, dem verketteten DataFrame eine Spalte hinzuzufügen, die die Quelle angibt Datei jeder Zeile. Dies kann mit einem der folgenden Ansätze erreicht werden:

Option 1: Dateinamen als neue Spalte hinzufügen

dfs = []
for f in all_files:
    data = pd.read_csv(f)
    data['file'] = f.stem
    dfs.append(data)

df = pd.concat(dfs, ignore_index=True)

Option 2: Generische Datei hinzufügen Quelle als neue Spalte

dfs = []
for i, f in enumerate(all_files):
    data = pd.read_csv(f)
    data['file'] = f'File {i}'
    dfs.append(data)

df = pd.concat(dfs, ignore_index=True)

Option 3: Dateiquelle mithilfe der Liste hinzufügen Verständnis

dfs = [pd.read_csv(f) for f in all_files]
df = pd.concat(dfs, ignore_index=True)
df['Source'] = np.repeat([f'S{i}' for i in range(len(dfs))], [len(df) for df in dfs])

Option 4: Einzeilige Lösung mit .assign()

df = pd.concat((pd.read_csv(f).assign(filename=f.stem) for f in all_files), ignore_index=True)

Durch die Implementierung einer dieser Optionen wird der verkettete DataFrame wird mit Informationen versehen, um den Ursprung jeder Zeile zu verfolgen.

Das obige ist der detaillierte Inhalt vonWie kann ich mehrere CSV-Dateien effizient in einem einzigen Pandas-DataFrame verketten und die Datenherkunft verfolgen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!