Création d'un grattoir Web de commerce électronique asynchrone avec Pydantic, Crawl et Gemini

En bref : Ce guide montre la création d'un scraper de commerce électronique à l'aide de l'extraction basée sur l'IA de crawl4ai et des modèles de données Pydantic. Le scraper récupère de manière asynchrone à la fois les listes de produits (noms, prix) et les informations détaillées sur les produits (spécifications, avis).

Accédez au code complet sur Google Colab

---

Vous en avez assez des complexités du web scraping traditionnel pour l'analyse des données de commerce électronique ? Ce didacticiel simplifie le processus à l'aide d'outils Python modernes. Nous exploiterons crawl4ai pour une extraction intelligente des données et Pydantic pour une modélisation et une validation robustes des données.

Pourquoi choisir Crawl4AI et Pydantic ?

• crawl4ai : rationalise l'exploration et le scraping du Web à l'aide de méthodes d'extraction basées sur l'IA.
• Pydantic : Fournit la validation des données et la gestion des schémas, garantissant des données récupérées structurées et précises.

Pourquoi cibler Tokopedia ?

Tokopedia, une importante plateforme de commerce électronique indonésienne, nous sert d'exemple. (Remarque : l'auteur est indonésien et utilisateur de la plateforme, mais non affilié.) Les principes s'appliquent à d'autres sites de commerce électronique. Cette approche de scraping est bénéfique pour les développeurs intéressés par l'analyse du commerce électronique, les études de marché ou la collecte automatisée de données.

Qu'est-ce qui distingue cette approche ?

Au lieu de nous appuyer sur des sélecteurs CSS complexes ou XPath, nous utilisons l'extraction basée sur LLM de crawl4ai. Cela offre :

• Résilience améliorée aux changements de structure du site Web.
• Sortie de données plus propre et plus structurée.
• Réduction des frais de maintenance.

Configuration de votre environnement de développement

Commencez par installer les packages nécessaires :

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

Pour l'exécution de code asynchrone dans les notebooks, nous utiliserons également nest_asyncio :

import crawl4ai
import asyncio
import nest_asyncio
nest_asyncio.apply()

Définir des modèles de données avec Pydantic

Nous utilisons Pydantic pour définir la structure de données attendue. Voici les modèles :

from pydantic import BaseModel, Field
from typing import List, Optional

class TokopediaListingItem(BaseModel):
    product_name: str = Field(..., description="Product name from listing.")
    product_url: str = Field(..., description="URL to product detail page.")
    price: str = Field(None, description="Price displayed in listing.")
    store_name: str = Field(None, description="Store name from listing.")
    rating: str = Field(None, description="Rating (1-5 scale) from listing.")
    image_url: str = Field(None, description="Primary image URL from listing.")

class TokopediaProductDetail(BaseModel):
    product_name: str = Field(..., description="Product name from detail page.")
    all_images: List[str] = Field(default_factory=list, description="List of all product image URLs.")
    specs: str = Field(None, description="Technical specifications or short info.")
    description: str = Field(None, description="Long product description.")
    variants: List[str] = Field(default_factory=list, description="List of variants or color options.")
    satisfaction_percentage: Optional[str] = Field(None, description="Customer satisfaction percentage.")
    total_ratings: Optional[str] = Field(None, description="Total number of ratings.")
    total_reviews: Optional[str] = Field(None, description="Total number of reviews.")
    stock: Optional[str] = Field(None, description="Stock availability.")

Ces modèles servent de modèles, garantissant la validation des données et fournissant une documentation claire.

Le processus de grattage

Le grattoir fonctionne en deux phases :

1. Exploration des listes de produits

Tout d'abord, nous récupérons les pages de résultats de recherche :

async def crawl_tokopedia_listings(query: str = "mouse-wireless", max_pages: int = 1):
    # ... (Code remains the same) ...

2. Récupération des détails du produit

Ensuite, pour chaque URL de produit, nous récupérons des informations détaillées :

async def crawl_tokopedia_detail(product_url: str):
    # ... (Code remains the same) ...

Combiner les étapes

Enfin, nous intégrons les deux phases :

async def run_full_scrape(query="mouse-wireless", max_pages=2, limit=15):
    # ... (Code remains the same) ...

Exécuter le Scraper

Voici comment exécuter le scraper :

%pip install -U crawl4ai
%pip install nest_asyncio
%pip install pydantic

Conseils de pro

1. Limitation de débit : Respectez les serveurs de Tokopedia ; introduire des délais entre les demandes de scraping à grande échelle.
2. Mise en cache : Activer la mise en cache de crawl4ai pendant le développement (cache_mode=CacheMode.ENABLED).
3. Gestion des erreurs : Implémentez des mécanismes complets de gestion des erreurs et de nouvelles tentatives pour une utilisation en production.
4. Clés API : Stockez les clés API Gemini en toute sécurité dans des variables d'environnement, et non directement dans le code.

Prochaines étapes

Ce grattoir peut être étendu à :

• Stockez les données dans une base de données.
• Surveillez les changements de prix au fil du temps.
• Analyser les tendances et les modèles de produits.
• Comparez les prix dans plusieurs magasins.

Conclusion

L'extraction basée sur LLM de crawl4ai améliore considérablement la maintenabilité du web scraping par rapport aux méthodes traditionnelles. L'intégration avec Pydantic garantit l'exactitude et la structure des données.

Respectez toujours les robots.txt et les conditions d'utilisation d'un site Web avant de le supprimer.

---

Liens importants :

Crawl4AI

• Site officiel : https://www.php.cn/link/1026d8c97a822ee171c6cbf939fe4aca
• Référentiel GitHub : https://www.php.cn/link/62c1b075041300455ec2b54495d93c99
• Documentation : https://www.php.cn/link/1026d8c97a822ee171c6cbf939fe4aca/mkdocs/core/installation/

Pydantique

• Documentation officielle : https://www.php.cn/link/a4d4ec4aa3c45731396ed6e65fee40b9
• Page PyPI : https://www.php.cn/link/4d8ab89733dd9a88f1a9d130ca675c2e
• Référentiel GitHub : https://www.php.cn/link/22935fba49f7d80d5adf1cfa6b0344f4

---

Remarque : Le code complet est disponible dans le notebook Colab. N'hésitez pas à l'expérimenter et à l'adapter à vos besoins spécifiques.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!