Modernes Webkratzer mit wunderschöner Suppe und Selen

Web -Scraping: Effizientes Extrahieren von Daten aus Webseiten

In diesem Tutorial wird erläutert, wie Webseiteninhalte gerendert werden und wie man es mit Python, Anfragen, wunderschönen Suppen und Selen kratzt. Wir konzentrieren uns auf das Kratzen dynamischer Inhalte, insbesondere Kommentare.

Wann ist Web -Scraping erforderlich?

Web -Scraping ruft automatisch Informationen aus Webseiten ab, oft für die menschliche Interaktion. Es ist ein letzter Ausweg, wenn APIs nicht verfügbar sind. Betrachten Sie diese Nachteile:

1. Fragilität: Webseiten ändern sich häufig, brechen Schaber.
2. Einschränkungen: Viele Websites verbieten das Scraping.
3. Leistung: Umfang großes Datenvolumina kann langsam und teuer sein.

moderne Webseiten verstehen

untersuchen wir die Struktur typischer Webanwendungen. Wir werden den Artikel "Einführung in den Vagranten" als Beispiel verwenden. Um Inhalte zu kratzen, müssen wir zunächst die relevanten HTML -Elemente suchen.

Seitenquelle ansehen

Browser ermöglichen das Anzeigen der HTML -Quelle. Die Quelle "Einführung in die Vagrant" zeigt einen bedeutenden Teil des Minimified JavaScript, der nicht mit dem Artikelinhalt selbst zu tun hat. Ein kleiner Auszug ist unten gezeigt:

Hier ist ein Beispiel des tatsächlichen HTML:

statisches und dynamisches Schaber

statisches Scraping Ignoriert JavaScript und holt das RAW-serverseitige HTML ab. Dies funktioniert, wenn sich der Zielinhalt direkt in der Quelle befindet. Für Inhalte, die von JavaScript (dynamischer Inhalt) generiert werden, schlägt diese Methode jedoch fehl. dynamisches Schaber verwendet Tools wie Selen, um mit der Seite als Browser zu interagieren, das JavaScript zu rendern und den dynamischen Inhalt verfügbar zu machen.

kratzende dynamische Kommentare mit Selen

abkratzen

kratzen wir Kommentare von einer Website ab (Beispiel: Codecanyon -Kommentare). Wir werden Selen verwenden, um zu den Kommentaren zu navigieren URL:

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://codecanyon.net/item/whatshelp-whatsapp-help-and-support-plugin-for-javascript/42202303/comments')

Das Auffinden des Kommentarelements erfordert die Überprüfung der Seite (klicken Sie mit der rechten Maustaste, "inspizieren"). Seleniums WebDriverWait hilft mit asynchronem Laden:

from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
url = 'http://www.c2.com/loading-page'
driver.get(url)

element = WebDriverWait(driver, 5).until(
    EC.presence_of_element_located((By.ID, "loaded_element"))
)

Schlussfolgerung

Web -Scraping ist wertvoll, wenn die erforderlichen Daten nicht ohne weiteres über APIs verfügbar sind. Während sich mit modernen Webanwendungen herausfordert, vereinfachen Tools wie Anfragen, schöne Suppen und Selen den Prozess.

Dieses Tutorial enthält Beiträge von Esther Vaati, einem Softwareentwickler und Autor für Envato -Tuts.

Das obige ist der detaillierte Inhalt vonModernes Webkratzer mit wunderschöner Suppe und Selen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!