Heim Backend-Entwicklung Python-Tutorial # | PDF-Datenextraktion automatisieren: Erstellen

# | PDF-Datenextraktion automatisieren: Erstellen

Dec 15, 2024 am 11:06 AM

Überblick

Ich habe ein Python-Skript geschrieben, das die Geschäftslogik der PDF-Datenextraktion in funktionierenden Code übersetzt.

Das Skript wurde auf 71 Seiten PDFs mit Depotbankauszügen über einen Zeitraum von 10 Monaten (Januar bis Oktober 2024) getestet. Die Verarbeitung der PDFs dauerte etwa 4 Sekunden – deutlich schneller als die manuelle Bearbeitung.

# | Automate PDF data extraction: Build

Soweit ich weiß, sieht die Ausgabe korrekt aus und im Code sind keine Fehler aufgetreten.

Schnappschüsse der drei CSV-Ausgaben werden unten angezeigt. Beachten Sie, dass vertrauliche Daten ausgegraut sind.

Momentaufnahme 1: Aktienbestände

# | Automate PDF data extraction: Build

Momentaufnahme 2: Fondsbestände

# | Automate PDF data extraction: Build

Momentaufnahme 3: Bargeldbestände

# | Automate PDF data extraction: Build

Dieser Workflow zeigt die allgemeinen Schritte, die ich zum Generieren der CSV-Dateien unternommen habe.

# | Automate PDF data extraction: Build

Jetzt werde ich detaillierter erläutern, wie ich die Geschäftslogik in Code in Python übersetzt habe.

Schritt 1: PDF-Dokumente lesen

Ich habe die open()-Funktion von pdfplumber verwendet.

# Open the PDF file
with pdfplumber.open(file_path) as pdf:
Nach dem Login kopieren
Nach dem Login kopieren

file_path ist eine deklarierte Variable, die pdfplumber mitteilt, welche Datei geöffnet werden soll.

Schritt 2.0: Extrahieren und filtern Sie Tabellen von jeder Seite

Die Funktion extract_tables() übernimmt die harte Arbeit, alle Tabellen von jeder Seite zu extrahieren.

Obwohl ich mit der zugrunde liegenden Logik nicht wirklich vertraut bin, denke ich, dass die Funktion ziemlich gute Arbeit geleistet hat. Die beiden Schnappschüsse unten zeigen beispielsweise die extrahierte Tabelle im Vergleich zum Original (aus dem PDF)

Snapshot A: Ausgabe vom VS Code Terminal

# | Automate PDF data extraction: Build

Schnappschuss B: Tabelle im PDF

# | Automate PDF data extraction: Build

Ich musste dann jede Tabelle eindeutig beschriften, damit ich später Daten aus bestimmten Tabellen „auswählen“ konnte.

Die ideale Option bestand darin, den Titel jeder Tabelle zu verwenden. Allerdings überstieg die Bestimmung der Titelkoordinaten meine Fähigkeiten.

Um dieses Problem zu umgehen, habe ich jede Tabelle identifiziert, indem ich die Überschriften der ersten drei Spalten verkettet habe. Beispielsweise trägt die Tabelle Aktienbestände in Snapshot B die Bezeichnung Stocks/ETFsnNameExchangeQuantity.

⚠️Dieser Ansatz hat einen gravierenden Nachteil: Die ersten drei Kopfzeilennamen machen nicht alle Tabellen ausreichend eindeutig. Glücklicherweise betrifft dies nur irrelevante Tabellen.

Schritt 2.1: Extrahieren, filtern und transformieren Sie Nicht-Tabellentext

Die spezifischen Werte, die ich brauchte – Kontonummer und Kontoauszugsdatum – waren Teilzeichenfolgen auf Seite 1 jeder PDF-Datei.

Zum Beispiel enthält „Kontonummer M1234567“ die Kontonummer „M1234567“.

# | Automate PDF data extraction: Build

Ich habe die Re-Bibliothek von Python verwendet und ChatGPT dazu gebracht, geeignete reguläre Ausdrücke („Regex“) vorzuschlagen. Der reguläre Ausdruck unterteilt jede Zeichenfolge in zwei Gruppen, mit den gewünschten Daten in der zweiten Gruppe.

Regex für Zeichenfolgen mit Kontoauszugsdatum und Kontonummer

# Open the PDF file
with pdfplumber.open(file_path) as pdf:
Nach dem Login kopieren
Nach dem Login kopieren

Als nächstes habe ich das Abrechnungsdatum in das Format „JJJJMMTT“ umgewandelt. Dies erleichtert das Abfragen und Sortieren von Daten.

regex_date=r'Statement for \b([A-Za-z]{3}-\d{4})\b'
regex_acc_no=r'Account Number ([A-Za-z]\d{7})'
Nach dem Login kopieren

match_date ist eine Variable, die deklariert wird, wenn eine Zeichenfolge gefunden wird, die mit dem regulären Ausdruck übereinstimmt.

Schritt 3: Erstellen Sie tabellarische Daten

Die harte Arbeit – das Extrahieren der relevanten Datenpunkte – war zu diesem Zeitpunkt so gut wie abgeschlossen.

Als nächstes habe ich die DataFrame()-Funktion von Pandas verwendet, um Tabellendaten basierend auf der Ausgabe in Schritt 2 und Schritt 3 zu erstellen. Ich habe diese Funktion auch verwendet, um unnötige Spalten und Zeilen zu löschen.

Das Endergebnis kann dann einfach in eine CSV-Datei geschrieben oder in einer Datenbank gespeichert werden.

Schritt 4: Daten in eine CSV-Datei schreiben

Ich habe die Funktion write_to_csv() von Python verwendet, um jeden Datenrahmen in eine CSV-Datei zu schreiben.

 if match_date:
    # Convert string to a mmm-yyyy date
    date_obj=datetime.strptime(match_date.group(1),"%b-%Y")
    # Get last day of the month
    last_day=calendar.monthrange(date_obj.year,date_obj.month[1]
    # Replace day with last day of month
    last_day_of_month=date_obj.replace(day=last_day)
    statement_date=last_day_of_month.strftime("%Y%m%d")
Nach dem Login kopieren

df_cash_selected ist der Cash-Bestände-Datenrahmen, während file_cash_holdings der Dateiname der Cash-Bestände-CSV-Datei ist.

➡️ Ich werde die Daten in eine geeignete Datenbank schreiben, sobald ich mir etwas Datenbank-Know-how angeeignet habe.

Nächste Schritte

Es ist jetzt ein funktionierendes Skript zum Extrahieren von Tabellen- und Textdaten aus der PDF-Datei mit der Depotbankerklärung vorhanden.

Bevor ich fortfahre, werde ich einige Tests durchführen, um zu sehen, ob das Skript wie erwartet funktioniert.

--Ende

Das obige ist der detaillierte Inhalt von# | PDF-Datenextraktion automatisieren: Erstellen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

Video Face Swap

Video Face Swap

Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heißer Artikel

<🎜>: Bubble Gum Simulator Infinity - So erhalten und verwenden Sie Royal Keys
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Nordhold: Fusionssystem, erklärt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Mandragora: Flüstern des Hexenbaum
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

Java-Tutorial
1670
14
PHP-Tutorial
1276
29
C#-Tutorial
1256
24
Python vs. C: Lernkurven und Benutzerfreundlichkeit Python vs. C: Lernkurven und Benutzerfreundlichkeit Apr 19, 2025 am 12:20 AM

Python ist leichter zu lernen und zu verwenden, während C leistungsfähiger, aber komplexer ist. 1. Python -Syntax ist prägnant und für Anfänger geeignet. Durch die dynamische Tippen und die automatische Speicherverwaltung können Sie die Verwendung einfach zu verwenden, kann jedoch zur Laufzeitfehler führen. 2.C bietet Steuerung und erweiterte Funktionen auf niedrigem Niveau, geeignet für Hochleistungsanwendungen, hat jedoch einen hohen Lernschwellenwert und erfordert manuellem Speicher und Typensicherheitsmanagement.

Python und Zeit: Machen Sie das Beste aus Ihrer Studienzeit Python und Zeit: Machen Sie das Beste aus Ihrer Studienzeit Apr 14, 2025 am 12:02 AM

Um die Effizienz des Lernens von Python in einer begrenzten Zeit zu maximieren, können Sie Pythons DateTime-, Zeit- und Zeitplanmodule verwenden. 1. Das DateTime -Modul wird verwendet, um die Lernzeit aufzuzeichnen und zu planen. 2. Das Zeitmodul hilft, die Studie zu setzen und Zeit zu ruhen. 3. Das Zeitplanmodul arrangiert automatisch wöchentliche Lernaufgaben.

Python vs. C: Erforschung von Leistung und Effizienz erforschen Python vs. C: Erforschung von Leistung und Effizienz erforschen Apr 18, 2025 am 12:20 AM

Python ist in der Entwicklungseffizienz besser als C, aber C ist in der Ausführungsleistung höher. 1. Pythons prägnante Syntax und reiche Bibliotheken verbessern die Entwicklungseffizienz. 2. Die Kompilierungsmerkmale von Compilation und die Hardwarekontrolle verbessern die Ausführungsleistung. Bei einer Auswahl müssen Sie die Entwicklungsgeschwindigkeit und die Ausführungseffizienz basierend auf den Projektanforderungen abwägen.

Python vs. C: Verständnis der wichtigsten Unterschiede Python vs. C: Verständnis der wichtigsten Unterschiede Apr 21, 2025 am 12:18 AM

Python und C haben jeweils ihre eigenen Vorteile, und die Wahl sollte auf Projektanforderungen beruhen. 1) Python ist aufgrund seiner prägnanten Syntax und der dynamischen Typisierung für die schnelle Entwicklung und Datenverarbeitung geeignet. 2) C ist aufgrund seiner statischen Tipp- und manuellen Speicherverwaltung für hohe Leistung und Systemprogrammierung geeignet.

Python lernen: Ist 2 Stunden tägliches Studium ausreichend? Python lernen: Ist 2 Stunden tägliches Studium ausreichend? Apr 18, 2025 am 12:22 AM

Ist es genug, um Python für zwei Stunden am Tag zu lernen? Es hängt von Ihren Zielen und Lernmethoden ab. 1) Entwickeln Sie einen klaren Lernplan, 2) Wählen Sie geeignete Lernressourcen und -methoden aus, 3) praktizieren und prüfen und konsolidieren Sie praktische Praxis und Überprüfung und konsolidieren Sie und Sie können die Grundkenntnisse und die erweiterten Funktionen von Python während dieser Zeit nach und nach beherrschen.

Welches ist Teil der Python Standard Library: Listen oder Arrays? Welches ist Teil der Python Standard Library: Listen oder Arrays? Apr 27, 2025 am 12:03 AM

PythonlistsarePartThestandardlibrary, whilearraysarenot.listarebuilt-in, vielseitig und UNDUSEDFORSPORINGECollections, während dieArrayRay-thearrayModulei und loses und loses und losesaluseduetolimitedFunctionality.

Python: Automatisierung, Skript- und Aufgabenverwaltung Python: Automatisierung, Skript- und Aufgabenverwaltung Apr 16, 2025 am 12:14 AM

Python zeichnet sich in Automatisierung, Skript und Aufgabenverwaltung aus. 1) Automatisierung: Die Sicherungssicherung wird durch Standardbibliotheken wie OS und Shutil realisiert. 2) Skriptschreiben: Verwenden Sie die PSUTIL -Bibliothek, um die Systemressourcen zu überwachen. 3) Aufgabenverwaltung: Verwenden Sie die Zeitplanbibliothek, um Aufgaben zu planen. Die Benutzerfreundlichkeit von Python und die Unterstützung der reichhaltigen Bibliothek machen es zum bevorzugten Werkzeug in diesen Bereichen.

Python für die Webentwicklung: Schlüsselanwendungen Python für die Webentwicklung: Schlüsselanwendungen Apr 18, 2025 am 12:20 AM

Zu den wichtigsten Anwendungen von Python in der Webentwicklung gehören die Verwendung von Django- und Flask -Frameworks, API -Entwicklung, Datenanalyse und Visualisierung, maschinelles Lernen und KI sowie Leistungsoptimierung. 1. Django und Flask Framework: Django eignet sich für die schnelle Entwicklung komplexer Anwendungen, und Flask eignet sich für kleine oder hochmobile Projekte. 2. API -Entwicklung: Verwenden Sie Flask oder Djangorestframework, um RESTFUFFUPI zu erstellen. 3. Datenanalyse und Visualisierung: Verwenden Sie Python, um Daten zu verarbeiten und über die Webschnittstelle anzuzeigen. 4. Maschinelles Lernen und KI: Python wird verwendet, um intelligente Webanwendungen zu erstellen. 5. Leistungsoptimierung: optimiert durch asynchrones Programmieren, Caching und Code

See all articles