Wie extrahiere ich mit Python für NLP Text aus gescannten PDF-Dateien?

Wie extrahiere ich Text aus gescannten PDF-Dateien mit Python für NLP?

NLP (Natural Language Processing) ist ein wichtiger Bereich der Textanalyse und -verarbeitung. Python ist eine leistungsstarke Programmiersprache mit einer umfangreichen Bibliothek und Tools zur Verarbeitung und Analyse von Textdaten. In diesem Artikel erfahren Sie, wie Sie mit Python für NLP Text aus gescannten PDF-Dateien extrahieren.

Schritt 1: Erforderliche Bibliotheken installieren und importieren

Zuerst müssen wir einige häufig verwendete Bibliotheken in Python für die Verarbeitung von PDF-Dateien und die Textextraktion installieren und importieren.

!pip install PyPDF2
import PyPDF2

Schritt 2: Öffnen Sie die PDF-Datei

Bevor wir mit dem Extrahieren von Text beginnen, müssen wir die gescannte PDF-Datei öffnen.

pdf_file = open('扫描文件.pdf', 'rb')

Schritt 3: Erstellen Sie ein PDF-Reader-Objekt

Mit den von der PyPDF2-Bibliothek bereitgestellten Funktionen können wir ein PDF-Reader-Objekt zum Lesen und Parsen von PDF-Dateien erstellen.

pdf_reader = PyPDF2.PdfFileReader(pdf_file)

Schritt 4: Text extrahieren

Jetzt können wir die vom PDF Reader-Objekt bereitgestellten Methoden verwenden, um Text aus der PDF-Datei zu extrahieren.

text = ""
for page_num in range(pdf_reader.numPages):
    page = pdf_reader.getPage(page_num)
    text += page.extractText()

Der obige Code erstellt zunächst einen leeren Zeichenfolgentext, durchläuft dann den Text jeder Seite und fügt ihn der Textzeichenfolge hinzu. Die Methode extractText() wird verwendet, um Text aus dem Seitenobjekt zu extrahieren.

Schritt 5: Textdaten bereinigen

Der extrahierte Text kann Rauschen oder unnötige Zeichen enthalten. Daher müssen wir den Text bereinigen und vorverarbeiten.

import re

clean_text = re.sub(r'[^A-Za-z0-9]+', ' ', text)

Der obige Code verwendet reguläre Ausdrücke, um nicht alphanumerische Zeichen aus dem Text zu entfernen und durch Leerzeichen zu ersetzen.

Schritt 6: Speichern Sie den extrahierten Text

Schließlich können wir den extrahierten Text zur späteren Verwendung in einer Textdatei speichern.

output_file = open('提取的文本.txt', 'w')
output_file.write(clean_text)
output_file.close()

Der obige Code schreibt den bereinigten Text in eine Textdatei und nennt sie „Extracted Text.txt“.

Integriertes Codebeispiel:

!pip install PyPDF2
import PyPDF2
import re

def extract_text_from_pdf(pdf_filename, output_filename):
    pdf_file = open(pdf_filename, 'rb')
    pdf_reader = PyPDF2.PdfFileReader(pdf_file)
    
    text = ""
    for page_num in range(pdf_reader.numPages):
        page = pdf_reader.getPage(page_num)
        text += page.extractText()
    
    clean_text = re.sub(r'[^A-Za-z0-9]+', ' ', text)
    
    output_file = open(output_filename, 'w')
    output_file.write(clean_text)
    output_file.close()

extract_text_from_pdf('扫描文件.pdf', '提取的文本.txt')

Zusammenfassung:

In diesem Artikel wird erläutert, wie Sie mit Python für NLP Text aus gescannten PDF-Dateien extrahieren. Mit der PyPDF2-Bibliothek können wir PDF-Dateien öffnen und lesen und den Text jeder Seite mit den bereitgestellten Methoden extrahieren. Anschließend können wir reguläre Ausdrücke verwenden, um den Text zu bereinigen und vorzuverarbeiten. Schließlich haben wir die Möglichkeit, den extrahierten Text in einer Textdatei zu speichern. Mit diesen Schritten können wir problemlos Text aus gescannten PDF-Dateien extrahieren und NLP-Techniken und -Methoden weiter anwenden.

Das obige ist der detaillierte Inhalt vonWie extrahiere ich mit Python für NLP Text aus gescannten PDF-Dateien?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!