# | PDF-Datenextraktion automatisieren: Erstellen
Überblick
Ich habe ein Python-Skript geschrieben, das die Geschäftslogik der PDF-Datenextraktion in funktionierenden Code übersetzt.
Das Skript wurde auf 71 Seiten PDFs mit Depotbankauszügen über einen Zeitraum von 10 Monaten (Januar bis Oktober 2024) getestet. Die Verarbeitung der PDFs dauerte etwa 4 Sekunden – deutlich schneller als die manuelle Bearbeitung.
Soweit ich weiß, sieht die Ausgabe korrekt aus und im Code sind keine Fehler aufgetreten.
Schnappschüsse der drei CSV-Ausgaben werden unten angezeigt. Beachten Sie, dass vertrauliche Daten ausgegraut sind.
Momentaufnahme 1: Aktienbestände
Momentaufnahme 2: Fondsbestände
Momentaufnahme 3: Bargeldbestände
Dieser Workflow zeigt die allgemeinen Schritte, die ich zum Generieren der CSV-Dateien unternommen habe.
Jetzt werde ich detaillierter erläutern, wie ich die Geschäftslogik in Code in Python übersetzt habe.
Schritt 1: PDF-Dokumente lesen
Ich habe die open()-Funktion von pdfplumber verwendet.
# Open the PDF file with pdfplumber.open(file_path) as pdf:
file_path ist eine deklarierte Variable, die pdfplumber mitteilt, welche Datei geöffnet werden soll.
Schritt 2.0: Extrahieren und filtern Sie Tabellen von jeder Seite
Die Funktion extract_tables() übernimmt die harte Arbeit, alle Tabellen von jeder Seite zu extrahieren.
Obwohl ich mit der zugrunde liegenden Logik nicht wirklich vertraut bin, denke ich, dass die Funktion ziemlich gute Arbeit geleistet hat. Die beiden Schnappschüsse unten zeigen beispielsweise die extrahierte Tabelle im Vergleich zum Original (aus dem PDF)
Snapshot A: Ausgabe vom VS Code Terminal
Schnappschuss B: Tabelle im PDF
Ich musste dann jede Tabelle eindeutig beschriften, damit ich später Daten aus bestimmten Tabellen „auswählen“ konnte.
Die ideale Option bestand darin, den Titel jeder Tabelle zu verwenden. Allerdings überstieg die Bestimmung der Titelkoordinaten meine Fähigkeiten.
Um dieses Problem zu umgehen, habe ich jede Tabelle identifiziert, indem ich die Überschriften der ersten drei Spalten verkettet habe. Beispielsweise trägt die Tabelle Aktienbestände in Snapshot B die Bezeichnung Stocks/ETFsnNameExchangeQuantity.
⚠️Dieser Ansatz hat einen gravierenden Nachteil: Die ersten drei Kopfzeilennamen machen nicht alle Tabellen ausreichend eindeutig. Glücklicherweise betrifft dies nur irrelevante Tabellen.
Schritt 2.1: Extrahieren, filtern und transformieren Sie Nicht-Tabellentext
Die spezifischen Werte, die ich brauchte – Kontonummer und Kontoauszugsdatum – waren Teilzeichenfolgen auf Seite 1 jeder PDF-Datei.
Zum Beispiel enthält „Kontonummer M1234567“ die Kontonummer „M1234567“.
Ich habe die Re-Bibliothek von Python verwendet und ChatGPT dazu gebracht, geeignete reguläre Ausdrücke („Regex“) vorzuschlagen. Der reguläre Ausdruck unterteilt jede Zeichenfolge in zwei Gruppen, mit den gewünschten Daten in der zweiten Gruppe.
Regex für Zeichenfolgen mit Kontoauszugsdatum und Kontonummer
# Open the PDF file with pdfplumber.open(file_path) as pdf:
Als nächstes habe ich das Abrechnungsdatum in das Format „JJJJMMTT“ umgewandelt. Dies erleichtert das Abfragen und Sortieren von Daten.
regex_date=r'Statement for \b([A-Za-z]{3}-\d{4})\b' regex_acc_no=r'Account Number ([A-Za-z]\d{7})'
match_date ist eine Variable, die deklariert wird, wenn eine Zeichenfolge gefunden wird, die mit dem regulären Ausdruck übereinstimmt.
Schritt 3: Erstellen Sie tabellarische Daten
Die harte Arbeit – das Extrahieren der relevanten Datenpunkte – war zu diesem Zeitpunkt so gut wie abgeschlossen.
Als nächstes habe ich die DataFrame()-Funktion von Pandas verwendet, um Tabellendaten basierend auf der Ausgabe in Schritt 2 und Schritt 3 zu erstellen. Ich habe diese Funktion auch verwendet, um unnötige Spalten und Zeilen zu löschen.
Das Endergebnis kann dann einfach in eine CSV-Datei geschrieben oder in einer Datenbank gespeichert werden.
Schritt 4: Daten in eine CSV-Datei schreiben
Ich habe die Funktion write_to_csv() von Python verwendet, um jeden Datenrahmen in eine CSV-Datei zu schreiben.
if match_date: # Convert string to a mmm-yyyy date date_obj=datetime.strptime(match_date.group(1),"%b-%Y") # Get last day of the month last_day=calendar.monthrange(date_obj.year,date_obj.month[1] # Replace day with last day of month last_day_of_month=date_obj.replace(day=last_day) statement_date=last_day_of_month.strftime("%Y%m%d")
df_cash_selected ist der Cash-Bestände-Datenrahmen, während file_cash_holdings der Dateiname der Cash-Bestände-CSV-Datei ist.
➡️ Ich werde die Daten in eine geeignete Datenbank schreiben, sobald ich mir etwas Datenbank-Know-how angeeignet habe.
Nächste Schritte
Es ist jetzt ein funktionierendes Skript zum Extrahieren von Tabellen- und Textdaten aus der PDF-Datei mit der Depotbankerklärung vorhanden.
Bevor ich fortfahre, werde ich einige Tests durchführen, um zu sehen, ob das Skript wie erwartet funktioniert.
--Ende
Das obige ist der detaillierte Inhalt von# | PDF-Datenextraktion automatisieren: Erstellen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

Wie kann man nicht erkannt werden, wenn Sie Fiddlereverywhere für Man-in-the-Middle-Lesungen verwenden, wenn Sie FiddLereverywhere verwenden ...

Fastapi ...

Verwenden Sie Python im Linux -Terminal ...

Wie lehre ich innerhalb von 10 Stunden die Grundlagen für Computer -Anfänger für Programmierungen? Wenn Sie nur 10 Stunden Zeit haben, um Computer -Anfänger zu unterrichten, was Sie mit Programmierkenntnissen unterrichten möchten, was würden Sie dann beibringen ...

Über Pythonasyncio ...

Verständnis der Anti-Crawling-Strategie von Investing.com Viele Menschen versuchen oft, Nachrichten von Investing.com (https://cn.investing.com/news/latest-news) zu kriechen ...

Laden Sie die Gurkendatei in Python 3.6 Umgebungsfehler: ModulenotFoundError: Nomodulenamed ...

Diskussion über die Gründe, warum Pipeline -Dateien beim Lernen und Verwendung von Scapy -Crawlern für anhaltende Datenspeicher nicht geschrieben werden können, können Sie auf Pipeline -Dateien begegnen ...
