스크랩 후 검증: Pydantic 검증을 사용한 데이터 스크랩-파이썬 튜토리얼-php.cn

참고: chatGPT/LLM의 출력이 아닙니다

데이터 스크래핑은 공개 웹 소스에서 데이터를 수집하는 프로세스이며 대부분 자동화된 방식으로 스크립트를 사용하여 수행됩니다. 자동화로 인해 수집된 데이터에는 오류가 있는 경우가 많아 걸러내고 정리하여 사용해야 하는 경우가 많습니다. 그러나 스크래핑 중에 스크래핑된 데이터의 유효성을 검사할 수 있다면 더 좋을 것입니다.

데이터 유효성 검사 요구 사항을 고려할 때 Scrapy와 같은 대부분의 스크래핑 프레임워크에는 데이터 유효성 검사에 사용할 수 있는 패턴이 내장되어 있습니다. 그러나 데이터 스크래핑 프로세스 중에는 requests 및 beautifulsoup과 같은 범용 모듈을 사용하여 스크래핑하는 경우가 많습니다. 이러한 경우 수집된 데이터의 유효성을 검사하기가 어렵기 때문에 이 블로그 게시물에서는 Pydantic을 사용한 유효성 검사를 통해 데이터 스크래핑에 대한 간단한 접근 방식을 설명합니다.
https://docs.pydantic.dev/latest/
Pydantic은 데이터 검증 Python 모듈입니다. 이는 인기 있는 API 모듈인 FastAPI의 백본이기도 합니다. Pydantic과 마찬가지로 데이터 스크래핑 중 유효성 검사에 사용할 수 있는 다른 Python 모듈도 있습니다. 그러나 이 블로그에서는 pydantic을 탐색하고 여기에 대체 패키지 링크가 있습니다(학습 연습으로 다른 모듈로 pydantic을 변경해 볼 수 있습니다)

Cerberus는 가볍고 확장 가능한 Python용 데이터 검증 라이브러리입니다. https://pypi.org/project/Cerberus/

긁어내기 계획:

이번 블로그에서는 명언 사이트의 명언을 스크랩해 드립니다.
요청과 beautifulsoup을 사용하여 데이터를 가져옵니다. pydantic 데이터 클래스를 생성하여 스크랩된 각 데이터의 유효성을 검사합니다. 필터링되고 유효성이 검사된 데이터를 json 파일에 저장합니다.

더 나은 정리와 이해를 위해 각 단계는 메인 섹션에서 사용할 수 있는 Python 방식으로 구현되었습니다.

기본 가져오기

import requests # for web request
from bs4 import BeautifulSoup # cleaning html content

# pydantic for validation

from pydantic import BaseModel, field_validator, ValidationError

import json

로그인 후 복사

1. 대상 사이트 및 견적 받기

인용문 스크랩은 http://quotes.toscrape.com/)을 이용하고 있습니다. 각 인용문에는 quote_text, 작성자 및 태그의 세 가지 필드가 있습니다. 예:

Scrape but Validate: Data scraping with Pydantic Validation

아래 방법은 특정 URL에 대한 HTML 콘텐츠를 가져오는 일반적인 스크립트입니다.

def get_html_content(page_url: str) -> str:
    page_content =""
    # Send a GET request to the website
    response = requests.get(url)
    # Check if the request was successful (status code 200)
    if response.status_code == 200:
        page_content = response.content
    else:
        page_content = f'Failed to retrieve the webpage. Status code: {response.status_code}'
    return page_content

로그인 후 복사

2. 스크래핑에서 견적 데이터 가져오기

요청과 beautifulsoup를 사용하여 지정된 URL에서 데이터를 스크랩합니다. 프로세스는 세 부분으로 나뉩니다. 1) 웹에서 HTML 콘텐츠 가져오기 2) 각 대상 필드에 대해 원하는 HTML 태그 추출 3) 각 태그에서 값 가져오기

import requests # for web request
from bs4 import BeautifulSoup # cleaning html content

# pydantic for validation

from pydantic import BaseModel, field_validator, ValidationError

import json

로그인 후 복사

def get_html_content(page_url: str) -> str:
    page_content =""
    # Send a GET request to the website
    response = requests.get(url)
    # Check if the request was successful (status code 200)
    if response.status_code == 200:
        page_content = response.content
    else:
        page_content = f'Failed to retrieve the webpage. Status code: {response.status_code}'
    return page_content

로그인 후 복사

아래 스크립트는 각 인용문의 div에서 데이터 포인트를 가져옵니다.

def get_tags(tags):
    tags =[tag.get_text() for tag in tags.find_all('a')]
    return tags

로그인 후 복사

3. Pydantic 데이터 클래스를 생성하고 각 견적에 대한 데이터 유효성을 검사합니다.

견적의 각 필드별로 pydantic 클래스를 생성하고 데이터 스크래핑 중 데이터 검증을 위해 동일한 클래스를 사용합니다.

pydantic 모델 인용문

아래는 quote_text, 작성자 및 태그와 같은 세 가지 필드가 있는 BaseModel에서 확장된 Quote 클래스입니다. 이 3가지 중 quote_text와 작성자는 문자열(str) 형식이고, 태그는 목록 형식입니다.

두 가지 유효성 검사기 메서드(데코레이터 포함)가 있습니다.

1) tagged_more_than_two () : 태그가 2개 이상인지 확인합니다. (예를 들어 여기에는 어떤 규칙이라도 적용할 수 있습니다)

2.) check_quote_text(): 이 메소드는 인용문에서 ""를 제거하고 텍스트를 테스트합니다.

def get_quotes_div(html_content:str) -> str :    
    # Parse the page content with BeautifulSoup
    soup = BeautifulSoup(html_content, 'html.parser')

    # Find all the quotes on the page
    quotes = soup.find_all('div', class_='quote')

    return quotes

로그인 후 복사

데이터 가져오기 및 유효성 검사

pydantic을 사용하면 데이터 유효성 검사가 매우 쉽습니다. 예를 들어 아래 코드에서는 스크랩한 데이터를 pydantic 클래스 Quote에 전달합니다.

    # Loop through each quote and extract the text and author
    for quote in quotes_div:
        quote_text = quote.find('span', class_='text').get_text()
        author = quote.find('small', class_='author').get_text()
        tags = get_tags(quote.find('div', class_='tags'))

        # yied data to a dictonary 
        quote_temp ={'quote_text': quote_text,
                'author': author,
                'tags':tags
        }

로그인 후 복사

class Quote(BaseModel):
    quote_text:str
    author:str
    tags: list

    @field_validator('tags')
    @classmethod
    def tags_more_than_two(cls, tags_list:list) -> list:
        if len(tags_list) <=2:
            raise ValueError("There should be more than two tags.")
        return tags_list

    @field_validator('quote_text')
    @classmethod    
    def check_quote_text(cls, quote_text:str) -> str:
        return quote_text.removeprefix('“').removesuffix('”')

로그인 후 복사

4. 데이터 저장

데이터가 검증되면 json 파일에 저장됩니다. (Python 사전을 json 파일로 변환하는 범용 메소드가 작성되었습니다.)

quote_data = Quote(**quote_temp)

로그인 후 복사

모두 합치기

스크래핑의 각 부분을 이해했다면 이제 모두 모아서 스크래핑을 실행하여 데이터를 수집할 수 있습니다.

def get_quotes_data(quotes_div: list) -> list:
    quotes_data = []

    # Loop through each quote and extract the text and author
    for quote in quotes_div:
        quote_text = quote.find('span', class_='text').get_text()
        author = quote.find('small', class_='author').get_text()
        tags = get_tags(quote.find('div', class_='tags'))

        # yied data to a dictonary 
        quote_temp ={'quote_text': quote_text,
                'author': author,
                'tags':tags
        }

        # validate data with Pydantic model
        try:
            quote_data = Quote(**quote_temp)            
            quotes_data.append(quote_data.model_dump())            
        except  ValidationError as e:
            print(e.json())
    return quotes_data

로그인 후 복사

참고: 개정이 계획되어 있습니다. 개정된 버전에 포함할 아이디어나 제안을 알려주세요.

링크 및 리소스: