Comment traiter un texte PDF contenant plusieurs paragraphes à l'aide de Python pour le NLP ?

Comment traiter un texte PDF contenant plusieurs paragraphes en utilisant Python pour le NLP ?

Résumé :
Le traitement du langage naturel (NLP) est un domaine spécialisé dans le traitement et l'analyse du langage humain. Python est un langage de programmation puissant largement utilisé pour le traitement et l'analyse de données. Cet article explique comment utiliser Python et certaines bibliothèques populaires pour traiter du texte PDF contenant plusieurs paragraphes pour le traitement du langage naturel.

Importer des bibliothèques :
Tout d'abord, nous devons importer certaines bibliothèques pour nous aider à traiter les fichiers PDF et à effectuer le traitement du langage naturel. Nous utiliserons les bibliothèques suivantes :

• PyPDF2 : pour lire et traiter les fichiers PDF.
• NLTK : boîte à outils de traitement du langage naturel qui fournit de nombreuses fonctions et algorithmes utiles.
• re : Pour la correspondance d'expressions régulières et le traitement de texte.

Vous pouvez installer ces bibliothèques à l'aide de la commande pip :

pip install PyPDF2
pip install nltk

Lire les fichiers PDF :
Nous utilisons d'abord la bibliothèque PyPDF2 pour lire les fichiers PDF. Voici un exemple d'extrait de code qui illustre comment lire un texte PDF contenant plusieurs paragraphes :

import PyPDF2

def read_pdf(file_path):
    text = ""
    
    with open(file_path, "rb") as file:
        pdf = PyPDF2.PdfFileReader(file)
        num_pages = pdf.getNumPages()
        
        for page in range(num_pages):
            page_obj = pdf.getPage(page)
            text += page_obj.extract_text()

    return text

Le code ci-dessus lira le fichier PDF, extraira le texte de chaque page et le concatènera en une chaîne.

Paragraphisation :
En utilisant la bibliothèque NLTK, nous pouvons diviser le texte en paragraphes. Voici un exemple d'extrait de code qui illustre comment diviser le texte en paragraphes à l'aide de NLTK :

import nltk

def split_paragraphs(text):
    sentences = nltk.sent_tokenize(text)
    paragraphs = []
    current_paragraph = ""
    
    for sentence in sentences:
        if sentence.strip() == "":
            if current_paragraph != "":
                paragraphs.append(current_paragraph.strip())
                current_paragraph = ""
        else:
            current_paragraph += " " + sentence.strip()
    
    if current_paragraph != "":
        paragraphs.append(current_paragraph.strip())

    return paragraphs

Le code ci-dessus utilisera la fonction nltk.sent_tokenize pour diviser le texte en phrases et les phrases en paragraphes en fonction de lignes vides. Enfin, une liste contenant tous les paragraphes est renvoyée.

Traitement du texte :
Ensuite, nous utiliserons des expressions régulières et quelques techniques de traitement de texte pour nettoyer le texte. Voici un exemple d'extrait de code qui illustre comment utiliser les expressions régulières et NLTK pour traiter du texte :

import re
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer

def preprocess_text(text):
    # 移除非字母字符和多余的空格
    text = re.sub("[^a-zA-Z]", " ", text)
    text = re.sub(r's+', ' ', text)
    
    # 将文本转为小写
    text = text.lower()
    
    # 移除停用词
    stop_words = set(stopwords.words("english"))
    words = nltk.word_tokenize(text)
    words = [word for word in words if word not in stop_words]
    
    # 提取词干
    stemmer = PorterStemmer()
    words = [stemmer.stem(word) for word in words]
    
    # 将单词重新连接成文本
    processed_text = " ".join(words)
    
    return processed_text

Le code ci-dessus utilisera des expressions régulières et des bibliothèques NLTK pour supprimer les caractères non alphabétiques et les espaces superflus du texte. Ensuite, convertissez le texte en minuscules et supprimez les mots vides (tels que « un », « le », etc. qui n'ont aucune signification réelle). Ensuite, utilisez l’algorithme de stemming de Porter pour extraire les tiges. Enfin, les mots sont intégrés au texte.

Résumé :
Cet article explique comment utiliser Python et certaines bibliothèques populaires pour traiter du texte PDF contenant plusieurs paragraphes pour le traitement du langage naturel. Nous lisons les fichiers PDF via la bibliothèque PyPDF2, utilisons la bibliothèque NLTK pour diviser le texte en paragraphes et utilisons des expressions régulières et la bibliothèque NLTK pour nettoyer le texte. Les lecteurs peuvent effectuer un traitement et une analyse plus approfondis en fonction de leurs propres besoins.

Références :

• Documentation PyPDF2 : https://pythonhosted.org/PyPDF2/
• Documentation NLTK : https://www.nltk.org/
• re documentation : https://docs.python.org/ 3/bibliothèque/re.html

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!