Comment créer un grattoir de produit pour les sites Web à défilement infini à l'aide de ZenRows Web Scraper

Dans le domaine du web scraping, accéder et extraire des données de pages Web utilisant le défilement infini peut être un défi pour les développeurs. De nombreux sites Web utilisent cette technique pour charger davantage de contenu de manière dynamique, ce qui rend difficile la récupération de toutes les données disponibles en une seule fois. Une bonne solution consiste à simuler les actions de l'utilisateur, comme cliquer sur un bouton « Charger plus » pour révéler du contenu supplémentaire.
Ce didacticiel se penchera sur la récupération des données produit d'une page avec un défilement infini, en utilisant le grattoir Web open source Zenrows, vous créerez un robot grattoir qui accédera au contenu d'une page Web et vous utiliserez Zenrows pour générer plus de produits sur la page en cliquant sur le bouton "Load More", pour simuler un défilement infini.

Conditions préalables

Pour suivre ce tutoriel, vous devez disposer des éléments suivants :

• Python : Python doit être configuré sur votre machine. Sinon, vous pouvez l'installer ici.
• Web Scraping Foundation : Vous devez avoir une solide compréhension du fonctionnement du Web Scraping.
• SDK ZenRows : vous utiliserez le service ZenRows pour contourner les mesures anti-scraping et simplifier le scraping du contenu dynamique. Vous pouvez créer un compte ZenRows gratuit ici.

Accéder au contenu

Une fois que vous êtes inscrit à votre compte Zenrows et que vous avez les prérequis en place, l'étape suivante consiste à accéder au contenu de la page Web ; pour ce tutoriel, vous utiliserez cette page https://www.scrapingcourse.com/button-click.

Vous utiliserez également le SDK ZenRows pour gratter les pages dynamiques et gérer diverses mesures de rendu et anti-bot. Commençons :

Installez les bibliothèques requises :
Ouvrez le terminal de votre IDE préféré et exécutez le code pour installer le SDK ZenRows Python.

pip install zenrows python-dotenv

Configuration de votre API

Rendez-vous sur votre tableau de bord et copiez la clé API dans le coin supérieur droit de votre écran, comme dans l'image ci-dessous.

Ensuite, créez les pages app.py et .env, puis ajoutez le code ci-dessous à votre fichier app.py. Et ajoutez votre clé API à la variable API_KEY dans votre fichier .env.

# Import ZenRows SDK
from zenrows import ZenRowsClient
from dotenv import load_dotenv
import os

# Load environment variables
load_dotenv()

# Initialize ZenRows client with your API key
client = ZenRowsClient(os.getenv("API_KEY"))

# URL of the page you want to scrape
url = "https://www.scrapingcourse.com/button-click"

# Set up initial parameters for JavaScript rendering and interaction
base_params = {
    "js_render": "true",
    "json_response": "true",
    "premium_proxy": "true",
    "markdown_response": "true"
}

Le code ci-dessus lance le SDK Zenrow à l'aide de votre clé API. Il configure la variable URL de la page Web que vous allez récupérer et établit la variable base_params pour les paramètres nécessaires. Vous pouvez exécuter le scraper en utilisant la commande :

python app.py

Cela vous fournira la représentation HTML de la page contenant uniquement les produits de la page actuelle.
.

Vous pouvez toujours aller plus loin.

Chargement de plus de produits

Pour améliorer votre scraper, vous pouvez implémenter des paramètres supplémentaires pour interagir avec le bouton « Charger plus » en bas de la page Web et charger plus de produits.

Commencez par modifier vos importations pour inclure les packages nécessaires et en ajoutant une fonction parse_products qui filtre la réponse du produit :

pip install zenrows python-dotenv

Ensuite, créez une boucle while pour extraire en continu les informations sur le produit de plusieurs pages jusqu'à une limite spécifiée (max_products). Fixez la limite à 50 pour ce tutoriel :

# Import ZenRows SDK
from zenrows import ZenRowsClient
from dotenv import load_dotenv
import os

# Load environment variables
load_dotenv()

# Initialize ZenRows client with your API key
client = ZenRowsClient(os.getenv("API_KEY"))

# URL of the page you want to scrape
url = "https://www.scrapingcourse.com/button-click"

# Set up initial parameters for JavaScript rendering and interaction
base_params = {
    "js_render": "true",
    "json_response": "true",
    "premium_proxy": "true",
    "markdown_response": "true"
}

Cette boucle continuera à supprimer les produits en simulant le clic sur le bouton « Charger plus » jusqu'à ce que la limite spécifiée soit atteinte.
Analyse des informations sur le produit
Enfin, vous pouvez analyser les informations sur le produit que vous avez récupérées à l'étape précédente. Pour chaque produit, extrayez le nom du produit, le lien de l'image, le prix et l'URL de la page produit. Vous pouvez également calculer le prix total de tous les produits et imprimer les résultats comme suit :

python app.py

Analyse dans un fichier CSV

Si vous préférez analyser votre réponse dans un fichier CSV exporté, dans les prochaines étapes, vous prendrez les informations sur le produit que vous avez récupérées et apprendrez à les exporter vers un fichier CSV.

Modification du script pour enregistrer les données

Tout d'abord, vous devez utiliser le module CSV intégré de Python pour enregistrer les données du produit. Dans ce cas, chaque produit possède quatre attributs principaux : nom, image_link, prix et product_url.

Vous pouvez les utiliser comme en-têtes pour votre CSV, parcourir la liste des produits récupérés, puis écrire chaque produit sous forme de ligne dans le fichier CSV.

import re
import json
import time

def parse_products(response_json):
    try:
        data = json.loads(response_json)
        md_content = data.get('md', '')
        pattern = r'\[!\[([^\]]+)\]\(([^\)]+)\)\*\n([^\\n]+)\*\n\*\n$(\d+)\]\(([^\)]+)\)'
        matches = re.findall(pattern, md_content)

        products = []
        for match in matches:
            product = {
                'name': match[0],
                'image_link': match[1],
                'price': int(match[3]),
                'product_url': match[4]
            }
            products.append(product)

        return products
    except json.JSONDecodeError:
        print("Error: Unable to parse JSON response")
        print("Response content:", response_json[:500])
        return []
    except Exception as e:
        print(f"Error parsing products: {str(e)}")
        return []

# Zenrow SDK code here

Maintenant, après avoir récupéré les données, appelez simplement la fonction save_to_csv(all_products) pour stocker les données dans un fichier CSV nommé products.csv.

Exécutez la commande pour enregistrer automatiquement les données dans un fichier CSV une fois le processus de scraping terminé.

# Zenrow SDK code goes here

max_products = 50
all_products = []
page = 1

while len(all_products) < max_products:
    print(f"Scraping page {page}...")

    # Update parameters for each request
    params = base_params.copy()
    js_instructions = [{"click": "#load-more-btn"} for _ in range(page)]
    js_instructions.append({"wait": 5000})
    params["js_instructions"] = json.dumps(js_instructions)

    try:
        # Send the GET request to ZenRows
        response = client.get(url, params=params)

        # Parse the response JSON
        new_products = parse_products(response.text)

        if not new_products:
            print("No more products found. Stopping.")
            break

        all_products.extend(new_products)
        print(f"Found {len(new_products)} products on this page.")
        print(f"Total products so far: {len(all_products)}")

        page += 1

        # Add a delay to avoid overwhelming the server
        time.sleep(2)

    except Exception as e:
        print(f"Error occurred: {str(e)}")
        break

Identifier les 5 produits les plus chers

Maintenant que vous avez tous les produits dans un format structuré, vous pouvez aller plus loin et identifier les 5 produits les plus chers, et vous devrez visiter chaque page produit pour extraire des détails supplémentaires comme la description du produit et le SKU. code.

Tri des produits par prix : à l'aide de la fonction sorted() de Python, vous pouvez trier la liste de produits par prix par ordre décroissant et récupérer les 5 meilleurs produits.

Vous devrez visiter chaque page à l'aide de la fonction request.get() pour récupérer les données produit de chacune d'elles. À partir de la réponse, vous pouvez extraire la description du produit et le code SKU.
Vous pouvez également mettre à jour le fichier CSV de la dernière étape pour inclure les détails supplémentaires.

Voici le code pour y parvenir :

# Updated Params and while loop code goes here
# Calculate the total price of all products
total_sum = sum(product['price'] for product in all_products)

print("\nAll products:")
for product in all_products:
    print(product)

# Print the total sum of the product prices
print(f"\nTotal number of products: {len(all_products)}")
print(f"Total sum of product prices: ${total_sum}")

Maintenant, après le scraping, vous pouvez désormais identifier les produits les plus chers :

pip install zenrows python-dotenv

Après avoir récupéré les informations supplémentaires, vous pouvez soit modifier le fichier CSV, soit en créer un nouveau avec ces détails inclus.

Le code complet

Voici à quoi devrait ressembler votre fichier app.py complet.

# Import ZenRows SDK
from zenrows import ZenRowsClient
from dotenv import load_dotenv
import os

# Load environment variables
load_dotenv()

# Initialize ZenRows client with your API key
client = ZenRowsClient(os.getenv("API_KEY"))

# URL of the page you want to scrape
url = "https://www.scrapingcourse.com/button-click"

# Set up initial parameters for JavaScript rendering and interaction
base_params = {
    "js_render": "true",
    "json_response": "true",
    "premium_proxy": "true",
    "markdown_response": "true"
}

Voici à quoi ressemblerait une réponse réussie.

python app.py

Consultez la base de code complète sur GitHub.

Conclusion

Dans ce tutoriel, vous avez appris à extraire des produits d'une page Web avec un défilement infini à l'aide du bouton « Charger plus ». En suivant les étapes décrites, vous pouvez extraire des informations précieuses sur le produit et améliorer vos techniques de scraping à l'aide de ZenRows.
Pour en savoir plus sur la façon dont vous pouvez utiliser les outils de web scraping Zenrow, consultez les articles suivants sur notre blog.

• Comment analyser le HTML avec PHP
• Comment utiliser Hrequests pour le Web Scraping
• Comment utiliser le dramaturge dans Ruby Voici une vidéo rapide sur une approche sans code de l'utilisation des outils de scraping Web Zenrows.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!