Pydantic, Crawl 및 Gemini를 사용하여 비동기 전자상거래 웹 스크레이퍼 구축

간단히 말하면: 이 가이드에서는crawl4ai의 AI 기반 추출 및 Pydantic 데이터 모델을 사용하여 전자상거래 스크래퍼를 구축하는 방법을 보여줍니다. 스크레이퍼는 제품 목록(이름, 가격)과 자세한 제품 정보(사양, 리뷰)를 모두 비동기식으로 검색합니다.

Google Colab에서 전체 코드에 액세스

---

전자상거래 데이터 분석을 위한 기존 웹 스크래핑의 복잡성에 지치셨나요? 이 튜토리얼에서는 최신 Python 도구를 사용하여 프로세스를 단순화합니다. 지능형 데이터 추출에는 crawl4ai를, 강력한 데이터 모델링 및 검증에는 Pydantic을 활용합니다.

Crawl4AI와 Pydantic을 선택하는 이유는 무엇인가요?

• crawl4ai: AI 기반 추출 방법을 사용하여 웹 크롤링 및 스크래핑을 간소화합니다.
• Pydantic: 데이터 검증 및 스키마 관리를 제공하여 구조화되고 정확한 스크랩 데이터를 보장합니다.

토코피디아를 타겟으로 하는 이유는 무엇인가요?

인도네시아의 주요 전자상거래 플랫폼인 Tokopedia가 그 예입니다. (참고: 저자는 인도네시아인이며 플랫폼 사용자이지만 제휴 관계는 아닙니다.) 이 원칙은 다른 전자 상거래 사이트에도 적용됩니다. 이러한 스크래핑 접근 방식은 전자 상거래 분석, 시장 조사 또는 자동화된 데이터 수집에 관심이 있는 개발자에게 유용합니다.

이 접근 방식의 차별점은 무엇입니까?

복잡한 CSS 선택기나 XPath에 의존하는 대신 우리는 creep4ai의 LLM 기반 추출을 활용합니다. 다음을 제공합니다:

• 웹사이트 구조 변경에 대한 탄력성이 향상되었습니다.
• 더 깔끔하고 구조화된 데이터 출력.
• 유지관리 비용이 감소합니다.

개발 환경 설정

필요한 패키지 설치부터 시작하세요.

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

노트북에서 비동기 코드 실행을 위해 nest_asyncio:

도 사용합니다.

import crawl4ai
import asyncio
import nest_asyncio
nest_asyncio.apply()

Pydantic으로 데이터 모델 정의

Pydantic을 사용하여 예상되는 데이터 구조를 정의합니다. 모델은 다음과 같습니다.

from pydantic import BaseModel, Field
from typing import List, Optional

class TokopediaListingItem(BaseModel):
    product_name: str = Field(..., description="Product name from listing.")
    product_url: str = Field(..., description="URL to product detail page.")
    price: str = Field(None, description="Price displayed in listing.")
    store_name: str = Field(None, description="Store name from listing.")
    rating: str = Field(None, description="Rating (1-5 scale) from listing.")
    image_url: str = Field(None, description="Primary image URL from listing.")

class TokopediaProductDetail(BaseModel):
    product_name: str = Field(..., description="Product name from detail page.")
    all_images: List[str] = Field(default_factory=list, description="List of all product image URLs.")
    specs: str = Field(None, description="Technical specifications or short info.")
    description: str = Field(None, description="Long product description.")
    variants: List[str] = Field(default_factory=list, description="List of variants or color options.")
    satisfaction_percentage: Optional[str] = Field(None, description="Customer satisfaction percentage.")
    total_ratings: Optional[str] = Field(None, description="Total number of ratings.")
    total_reviews: Optional[str] = Field(None, description="Total number of reviews.")
    stock: Optional[str] = Field(None, description="Stock availability.")

이러한 모델은 템플릿 역할을 하여 데이터 검증을 보장하고 명확한 문서를 제공합니다.

스크래핑 과정

스크레이퍼는 두 단계로 작동합니다.

1. 제품 목록 크롤링

먼저 검색 결과 페이지를 검색합니다.

async def crawl_tokopedia_listings(query: str = "mouse-wireless", max_pages: int = 1):
    # ... (Code remains the same) ...

2. 제품 세부정보 가져오는 중

다음으로 각 제품 URL에 대해 자세한 정보를 가져옵니다.

async def crawl_tokopedia_detail(product_url: str):
    # ... (Code remains the same) ...

스테이지 결합

마지막으로 두 단계를 통합합니다.

async def run_full_scrape(query="mouse-wireless", max_pages=2, limit=15):
    # ... (Code remains the same) ...

스크레이퍼 실행

스크래퍼 실행 방법은 다음과 같습니다.

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

전문가의 팁

1. 속도 제한: Tokopedia 서버를 존중합니다. 대규모 스크래핑 요청 사이에 지연이 발생합니다.
2. 캐싱: 개발 중에 크롤링4ai의 캐싱을 활성화합니다(cache_mode=CacheMode.ENABLED).
3. 오류 처리: 프로덕션 용도로 포괄적인 오류 처리 및 재시도 메커니즘을 구현합니다.
4. API 키: Gemini API 키를 코드에 직접 저장하지 않고 환경 변수에 안전하게 저장합니다.

다음 단계

이 스크레이퍼는 다음으로 확장될 수 있습니다.

• 데이터베이스에 데이터를 저장합니다.
• 시간 경과에 따른 가격 변화를 모니터링하세요.
• 제품 동향과 패턴을 분석합니다.
• 여러 매장의 가격을 비교해 보세요.

결론

crawl4ai의 LLM 기반 추출은 기존 방법에 비해 웹 스크래핑 유지 관리성을 크게 향상시킵니다. Pydantic과의 통합으로 데이터 정확성과 구조가 보장됩니다.

스크래핑하기 전에 항상 웹사이트의 robots.txt 및 서비스 약관을 준수하세요.

---

중요 링크:

Crawl4AI

• 공식 웹사이트: https://www.php.cn/link/1026d8c97a822ee171c6cbf939fe4aca
• GitHub 저장소: https://www.php.cn/link/62c1b075041300455ec2b54495d93c99
• 문서: https://www.php.cn/link/1026d8c97a822ee171c6cbf939fe4aca/mkdocs/core/installation/

피단틱

• 공식 문서: https://www.php.cn/link/a4d4ec4aa3c45731396ed6e65fee40b9
• PyPI 페이지: https://www.php.cn/link/4d8ab89733dd9a88f1a9d130ca675c2e
• GitHub 저장소: https://www.php.cn/link/22935fba49f7d80d5adf1cfa6b0344f4

---

참고: 전체 코드는 Colab 노트북에서 확인할 수 있습니다. 자유롭게 실험하고 특정 요구 사항에 맞게 조정해 보세요.

위 내용은 Pydantic, Crawl 및 Gemini를 사용하여 비동기 전자상거래 웹 스크레이퍼 구축의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!