Scrape but Validate: Daten-Scraping mit Pydantic Validation

Hinweis: Keine Ausgabe von chatGPT/LLM

Data Scraping ist ein Prozess zum Sammeln von Daten aus öffentlichen Webquellen und erfolgt meist mithilfe von Skripten auf automatisierte Weise. Aufgrund der Automatisierung weisen die erfassten Daten häufig Fehler auf und müssen für die Verwendung herausgefiltert und bereinigt werden. Es ist jedoch besser, wenn die gescrapten Daten während des Scrapings validiert werden können.

In Anbetracht der Datenvalidierungsanforderung verfügen die meisten Scraping-Frameworks wie Scrapy über integrierte Muster, die zur Datenvalidierung verwendet werden können. Allerdings verwenden wir während des Daten-Scraping-Prozesses oft nur Allzweckmodule wie requests und beautifulsoup zum Scraping. In einem solchen Fall ist es schwierig, die gesammelten Daten zu validieren. In diesem Blogbeitrag wird daher ein einfacher Ansatz für das Daten-Scraping mit Validierung mithilfe von Pydantic erläutert.
https://docs.pydantic.dev/latest/
Pydantic ist ein Python-Modul zur Datenvalidierung. Es ist auch das Rückgrat des beliebten API-Moduls FastAPI. Wie Pydantic gibt es auch andere Python-Module, die zur Validierung beim Daten-Scraping verwendet werden können. Dieser Blog befasst sich jedoch mit Pydantic und hier finden Sie Links zu alternativen Paketen (Sie können als Lernübung versuchen, Pydantic durch ein anderes Modul zu ersetzen)

• Cerberus ist eine leichte und erweiterbare Datenvalidierungsbibliothek für Python. https://pypi.org/project/Cerberus/

Schabeplan:

In diesem Blog werden wir Zitate von der Zitatseite entfernen.
Wir werden Anfragen und beautifulsoup verwenden, um die Daten zu erhalten. Wir werden eine pydantische Datenklasse erstellen, um alle abgekratzten Daten zu validieren. Speichern Sie die gefilterten und validierten Daten in einer json-Datei.

Zur besseren Anordnung und zum besseren Verständnis ist jeder Schritt als Python-Methode implementiert, die im Hauptabschnitt verwendet werden kann.

Grundlegender Import

import requests # for web request
from bs4 import BeautifulSoup # cleaning html content

# pydantic for validation

from pydantic import BaseModel, field_validator, ValidationError

import json

1. Zielwebsite und Einholen von Angeboten

Wir verwenden (http://quotes.toscrape.com/), um die Anführungszeichen zu kratzen. Jedes Zitat verfügt über drei Felder: quote_text, Autor und Tags. Zum Beispiel:

Die folgende Methode ist ein allgemeines Skript zum Abrufen von HTML-Inhalten für eine bestimmte URL.

def get_html_content(page_url: str) -> str:
    page_content =""
    # Send a GET request to the website
    response = requests.get(url)
    # Check if the request was successful (status code 200)
    if response.status_code == 200:
        page_content = response.content
    else:
        page_content = f'Failed to retrieve the webpage. Status code: {response.status_code}'
    return page_content

2. Holen Sie sich die Angebotsdaten aus dem Scraping

Wir werden „Requests“ und „Beautifulsoup“ verwenden, um die Daten aus den angegebenen URLs zu extrahieren. Der Prozess ist in drei Teile unterteilt: 1) Holen Sie sich den HTML-Inhalt aus dem Web, 2) Extrahieren Sie die gewünschten HTML-Tags für jedes Zielfeld, 3) Holen Sie sich die Werte aus jedem Tag

import requests # for web request
from bs4 import BeautifulSoup # cleaning html content

# pydantic for validation

from pydantic import BaseModel, field_validator, ValidationError

import json

def get_html_content(page_url: str) -> str:
    page_content =""
    # Send a GET request to the website
    response = requests.get(url)
    # Check if the request was successful (status code 200)
    if response.status_code == 200:
        page_content = response.content
    else:
        page_content = f'Failed to retrieve the webpage. Status code: {response.status_code}'
    return page_content

Das folgende Skript ruft den Datenpunkt aus dem Div jedes Zitats ab.

def get_tags(tags):
    tags =[tag.get_text() for tag in tags.find_all('a')]
    return tags

3. Erstellen Sie eine Pydantic-Datenklasse und validieren Sie die Daten für jedes Angebot

Erstellen Sie gemäß den einzelnen Feldern des Angebots eine pydantische Klasse und verwenden Sie dieselbe Klasse für die Datenvalidierung während des Daten-Scrapings.

Das pydantische Modell Zitat

Unten ist die Quote-Klasse aufgeführt, die von BaseModel erweitert wurde und über drei Felder wie „quote_text“, „author“ und „tags“ verfügt. Von diesen dreien sind „quote_text“ und „author“ Zeichenfolgentypen (str) und „tags“ ein Listentyp.

Wir haben zwei Validierungsmethoden (mit Dekoratoren):

1) tags_more_than_two (): Prüft, ob mehr als zwei Tags vorhanden sein müssen. (Es ist nur ein Beispiel, Sie können hier jede beliebige Regel haben)

2.) check_quote_text(): Diese Methode entfernt „“ aus dem Zitat und testet den Text.

def get_quotes_div(html_content:str) -> str :    
    # Parse the page content with BeautifulSoup
    soup = BeautifulSoup(html_content, 'html.parser')

    # Find all the quotes on the page
    quotes = soup.find_all('div', class_='quote')

    return quotes

Daten abrufen und validieren

Die Datenvalidierung ist mit Pydantic sehr einfach. Übergeben Sie beispielsweise im folgenden Code abgekratzte Daten an die Pydantic-Klasse Quote.

    # Loop through each quote and extract the text and author
    for quote in quotes_div:
        quote_text = quote.find('span', class_='text').get_text()
        author = quote.find('small', class_='author').get_text()
        tags = get_tags(quote.find('div', class_='tags'))

        # yied data to a dictonary 
        quote_temp ={'quote_text': quote_text,
                'author': author,
                'tags':tags
        }

class Quote(BaseModel):
    quote_text:str
    author:str
    tags: list

    @field_validator('tags')
    @classmethod
    def tags_more_than_two(cls, tags_list:list) -> list:
        if len(tags_list) <=2:
            raise ValueError("There should be more than two tags.")
        return tags_list

    @field_validator('quote_text')
    @classmethod    
    def check_quote_text(cls, quote_text:str) -> str:
        return quote_text.removeprefix('“').removesuffix('”')

4. Speichern Sie die Daten

Sobald die Daten validiert sind, werden sie in einer JSON-Datei gespeichert. (Es wurde eine Allzweckmethode geschrieben, die das Python-Wörterbuch in eine JSON-Datei konvertiert)

quote_data = Quote(**quote_temp)

Alles zusammenfügen

Nachdem Sie jeden Teil des Scrapings verstanden haben, können Sie nun alles zusammenfügen und das Scraping zur Datenerfassung ausführen.

def get_quotes_data(quotes_div: list) -> list:
    quotes_data = []

    # Loop through each quote and extract the text and author
    for quote in quotes_div:
        quote_text = quote.find('span', class_='text').get_text()
        author = quote.find('small', class_='author').get_text()
        tags = get_tags(quote.find('div', class_='tags'))

        # yied data to a dictonary 
        quote_temp ={'quote_text': quote_text,
                'author': author,
                'tags':tags
        }

        # validate data with Pydantic model
        try:
            quote_data = Quote(**quote_temp)            
            quotes_data.append(quote_data.model_dump())            
        except  ValidationError as e:
            print(e.json())
    return quotes_data

Hinweis: Eine Überarbeitung ist geplant. Teilen Sie mir Ihre Idee oder Ihren Vorschlag zur Aufnahme in die überarbeitete Version mit.

Links und Ressourcen:

• https://pypi.org/project/parsel/

• https://docs.pydantic.dev/latest/

Das obige ist der detaillierte Inhalt vonScrape but Validate: Daten-Scraping mit Pydantic Validation. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!