Comment Python peut-il extraire efficacement du texte brut du HTML, en gérant les entités et le contenu indésirable ?

Extraire du texte brut à partir de HTML à l'aide de Python

Dans le but de récupérer le contenu textuel d'un fichier HTML, il est crucial de considérer des méthodes qui gèrent les entités HTML correctement et efficacement. Bien que les solutions utilisant des expressions régulières puissent s'avérer limitées, des bibliothèques comme Beautiful Soup offrent des options plus sophistiquées. Cependant, des problèmes liés à la capture de texte indésirable et à l'interprétation des entités demeurent.

Beautiful Soup : un outil puissant avec des mises en garde

Beautiful Soup est un choix populaire pour l'analyse HTML, mais il peut récupérer des éléments supplémentaires comme la source JavaScript et ne pas parvenir à interpréter les entités HTML. Par exemple, la séquence ' dans le code source n'est pas converti en apostrophe dans le texte extrait.

Entrez html2text : une solution prometteuse

Actuellement, html2text apparaît comme une option intéressante. Il gère facilement les entités HTML et ignore le contenu inutile comme JavaScript. Bien qu'il génère du markdown au lieu du texte brut, celui-ci peut être facilement converti.

Une approche robuste et personnalisable

L'extrait de code suivant exploite Beautiful Soup et offre un contrôle amélioré sur le processus d'extraction :

from urllib.request import urlopen
from bs4 import BeautifulSoup

url = "http://news.bbc.co.uk/2/hi/health/2284783.stm"
html = urlopen(url).read()
soup = BeautifulSoup(html, features="html.parser")

# Remove unwanted elements like scripts and styles
for script in soup(["script", "style"]):
    script.extract()

# Extract the text content
text = soup.get_text()

# Preprocess the text for improved readability
lines = (line.strip() for line in text.splitlines())
chunks = (phrase.strip() for line in lines for phrase in line.split("  "))
text = '\n'.join(chunk for chunk in chunks if chunk)

print(text)

En employant cette approche, vous pouvez extraire efficacement du texte brut, en gérant à la fois le contenu souhaité et indésirable selon vos exigences.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!