


Comment faire du Web Scrape avec Puppeteer : un guide convivial pour les débutants
Le Web scraping est un outil incroyablement puissant pour collecter des données à partir de sites Web. Avec Puppeteer, la bibliothèque de navigateur sans tête de Google pour Node.js, vous pouvez automatiser le processus de navigation dans les pages, de clic sur les boutons et d'extraction d'informations, tout en imitant le comportement de navigation humain. Ce guide vous guidera à travers les bases du web scraping avec Puppeteer d'une manière simple, claire et exploitable.
Qu'est-ce que le Marionnettiste ?
Puppeteer est une bibliothèque Node.js qui vous permet de contrôler une version sans tête de Google Chrome (ou Chromium). Un navigateur sans tête fonctionne sans interface utilisateur graphique (GUI), ce qui le rend plus rapide et parfait pour les tâches d'automatisation telles que le scraping. Cependant, Puppeteer peut également fonctionner en mode navigateur complet si vous avez besoin de voir ce qui se passe visuellement.
Pourquoi choisir Puppeteer pour le Web Scraping ?
Flexibilité : Puppeteer gère facilement les sites Web dynamiques et les applications monopage (SPA).
Prise en charge de JavaScript : il exécute JavaScript sur les pages, ce qui est essentiel pour supprimer les applications Web modernes.
Puissance d'automatisation : vous pouvez effectuer des tâches telles que remplir des formulaires, cliquer sur des boutons et même prendre des captures d'écran.
Utiliser des proxys avec Puppeteer
Lors du scraping de sites Web, les proxys sont essentiels pour éviter les interdictions IP et accéder au contenu géo-restreint. Les proxys agissent comme intermédiaires entre votre scraper et le site Web cible, masquant votre véritable adresse IP. Pour Puppeteer, vous pouvez facilement intégrer des proxys en les passant comme arguments de lancement :
javascript
Copier le code
const navigateur = wait puppeteer.launch({
args : ['--proxy-server=votre-proxy-server:port']
});
Les proxys sont particulièrement utiles pour intensifier vos efforts de scraping. Les proxys rotatifs garantissent que chaque requête provient d'une adresse IP différente, réduisant ainsi les chances de détection. Les proxys résidentiels, connus pour leur authenticité, sont excellents pour contourner les défenses contre les robots, tandis que les proxys des centres de données sont plus rapides et plus abordables. Choisissez le type qui correspond à vos besoins de grattage et testez toujours les performances pour garantir la fiabilité.
Mise en place du marionnettiste
Avant de commencer à gratter, vous devrez configurer Puppeteer. Passons au processus étape par étape :
Étape 1 : Installez Node.js et Puppeteer
Installez Node.js : Téléchargez et installez Node.js depuis le site officiel.
Configurer Puppeteer : ouvrez votre terminal et exécutez la commande suivante :
bash
Copier le code
npm installer le marionnettiste
Cela installera Puppeteer et Chromium, le navigateur qu'il contrôle.
Étape 2 : Écrivez votre premier scénario de marionnettiste
Créez un nouveau fichier JavaScript, scraper.js. Cela hébergera votre logique de scraping. Écrivons un script simple pour ouvrir une page Web et extraire son titre :
javascript
Copier le code
const marionnettiste = require('marionnettiste');
(async() => {
const navigateur = wait puppeteer.launch();
const page = attendre navigateur.newPage();
// Naviguer vers un site Web
attendre page.goto('https://example.com');
// Extraire le titre
const title = attendre page.title();
console.log(Titre de la page : ${title});
attendre navigateur.close();
})();
Exécutez le script en utilisant :
bash
Copier le code
nœud scraper.js
Vous venez d'écrire votre premier grattoir Marionnettiste !
Fonctionnalités de base du marionnettiste pour le grattage
Maintenant que vous maîtrisez les bases, explorons quelques fonctionnalités clés de Puppeteer que vous utiliserez pour le scraping.
Navigation vers les pages
La méthode page.goto(url) vous permet d'ouvrir n'importe quelle URL. Ajoutez des options telles que les paramètres de délai d'expiration si nécessaire :
javascript
Copier le code
wait page.goto('https://example.com', { timeout: 60000 });Sélection des éléments
Utilisez des sélecteurs CSS pour identifier les éléments sur une page. Puppeteer propose des méthodes telles que :
page.$(sélecteur) pour le premier match
page.$$(sélecteur) pour tous les matchs
Exemple :
javascript
Copier le code
élément const = page d'attente.$('h1');
const text = wait page.evaluate(el => el.textContent, element);
console.log(Titre : ${text});Interagir avec les éléments
Simulez les interactions des utilisateurs, telles que les clics et la saisie :
javascript
Copier le code
attendre page.click('#submit-button');
wait page.type('#search-box', 'Puppeteer scraping');En attente des éléments
Les pages Web se chargent à différentes vitesses. Puppeteer vous permet d'attendre des éléments avant de continuer :
javascript
Copier le code
wait page.waitForSelector('#dynamic-content');Prendre des captures d'écran
Le débogage visuel ou l'enregistrement de données sous forme d'images est facile :
javascript
Copier le code
wait page.screenshot({ chemin : 'screenshot.png', fullPage : true });
Gestion du contenu dynamique
De nombreux sites Web utilisent aujourd'hui JavaScript pour charger du contenu de manière dynamique. Puppeteer brille ici car il exécute JavaScript, vous permettant de récupérer le contenu qui pourrait ne pas être visible dans la source de la page.
Exemple : Extraction de données dynamiques
javascript
Copier le code
attendre page.goto('https://news.ycombinator.com');
attendre page.waitForSelector('.storylink');
const headlines = wait page.$$eval('.storylink', links => links.map(link => link.textContent));
console.log('Titres :', titres);
Gérer le CAPTCHA et la détection de robots
Certains sites Web ont mis en place des mesures pour bloquer les robots. Le Marionnettiste peut aider à contourner des contrôles simples :
Utiliser le mode furtif : installez le plugin puppeteer-extra :
bash
Copier le code
npm install marionnettiste-extra marionnettiste-extra-plugin-stealth
Ajoutez-le à votre script :
javascript
Copier le code
const marionnettiste = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());
Imitez le comportement humain : randomisez les actions telles que les mouvements de la souris et les vitesses de frappe pour paraître plus humain.
Rotation des agents utilisateurs : modifiez l'agent utilisateur de votre navigateur à chaque demande :
javascript
Copier le code
wait page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64)');
Sauvegarde des données récupérées
Après avoir extrait les données, vous souhaiterez probablement les enregistrer. Voici quelques formats courants :
JSON :
javascript
Copier le code
const fs = require('fs');
const data = { nom : 'Marionnette', type : 'bibliothèque' };
fs.writeFileSync('data.json', JSON.stringify(data, null, 2));
CSV : utilisez une bibliothèque comme csv-writer :
bash
Copier le code
npm installer csv-writer
javascript
Copier le code
const createCsvWriter = require('csv-writer').createObjectCsvWriter;
const csvWriter = createCsvWriter({
chemin : 'data.csv',
en-tête : [
{ identifiant : 'nom', titre : 'Nom' },
{ id : 'type', titre : 'Type' }
]
});
const records = [{ nom : 'Marionnette', type : 'bibliothèque' }];
csvWriter.writeRecords(records).then(() => console.log('Fichier CSV écrit.'));
Pratiques éthiques de Web Scraping
Avant de supprimer un site Web, gardez ces directives éthiques à l'esprit :
Vérifiez les conditions d'utilisation : assurez-vous toujours que le site Web autorise le scraping.
Respectez les limites de débit : évitez d’envoyer trop de demandes en peu de temps. Utilisez setTimeout ou page.waitForTimeout() de Puppeteer pour espacer les requêtes :
javascript
Copier le code
attendre page.waitForTimeout(2000); // Attend 2 secondes
Évitez les données sensibles : ne récupérez jamais d'informations personnelles ou privées.
Dépannage des problèmes courants
La page ne se charge pas correctement : essayez d'ajouter un délai d'attente plus long ou d'activer le mode navigateur complet :
javascript
Copier le code
const navigateur = wait puppeteer.launch({ headless: false });
Les sélecteurs ne fonctionnent pas : inspectez le site Web avec les outils de développement du navigateur (Ctrl Maj C) pour confirmer les sélecteurs.
Bloqué par CAPTCHA : utilisez le plugin furtif et imitez le comportement humain.
Foire aux questions (FAQ)
- Le marionnettiste est-il gratuit ? Oui, Puppeteer est open source et gratuit.
- Puppeteer peut-il gratter des sites Web contenant beaucoup de JavaScript ? Absolument! Puppeteer exécute JavaScript, ce qui le rend parfait pour scraper des sites dynamiques.
- Le Web Scraping est-il légal ? Ça dépend. Vérifiez toujours les conditions d’utilisation du site Web avant de gratter.
- Le marionnettiste peut-il contourner le CAPTCHA ? Puppeteer peut gérer les défis CAPTCHA de base, mais les défis avancés peuvent nécessiter des outils tiers.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

Video Face Swap
Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds











Python convient plus aux débutants, avec une courbe d'apprentissage en douceur et une syntaxe concise; JavaScript convient au développement frontal, avec une courbe d'apprentissage abrupte et une syntaxe flexible. 1. La syntaxe Python est intuitive et adaptée à la science des données et au développement back-end. 2. JavaScript est flexible et largement utilisé dans la programmation frontale et côté serveur.

Les principales utilisations de JavaScript dans le développement Web incluent l'interaction client, la vérification du formulaire et la communication asynchrone. 1) Mise à jour du contenu dynamique et interaction utilisateur via les opérations DOM; 2) La vérification du client est effectuée avant que l'utilisateur ne soumette les données pour améliorer l'expérience utilisateur; 3) La communication de rafraîchissement avec le serveur est réalisée via la technologie AJAX.

L'application de JavaScript dans le monde réel comprend un développement frontal et back-end. 1) Afficher les applications frontales en créant une application de liste TODO, impliquant les opérations DOM et le traitement des événements. 2) Construisez RestulAPI via Node.js et Express pour démontrer les applications back-end.

Comprendre le fonctionnement du moteur JavaScript en interne est important pour les développeurs car il aide à écrire du code plus efficace et à comprendre les goulots d'étranglement des performances et les stratégies d'optimisation. 1) Le flux de travail du moteur comprend trois étapes: analyse, compilation et exécution; 2) Pendant le processus d'exécution, le moteur effectuera une optimisation dynamique, comme le cache en ligne et les classes cachées; 3) Les meilleures pratiques comprennent l'évitement des variables globales, l'optimisation des boucles, l'utilisation de const et de locations et d'éviter une utilisation excessive des fermetures.

Python et JavaScript ont leurs propres avantages et inconvénients en termes de communauté, de bibliothèques et de ressources. 1) La communauté Python est amicale et adaptée aux débutants, mais les ressources de développement frontal ne sont pas aussi riches que JavaScript. 2) Python est puissant dans les bibliothèques de science des données et d'apprentissage automatique, tandis que JavaScript est meilleur dans les bibliothèques et les cadres de développement frontaux. 3) Les deux ont des ressources d'apprentissage riches, mais Python convient pour commencer par des documents officiels, tandis que JavaScript est meilleur avec MDNWEBDOCS. Le choix doit être basé sur les besoins du projet et les intérêts personnels.

Les choix de Python et JavaScript dans les environnements de développement sont importants. 1) L'environnement de développement de Python comprend Pycharm, Jupyternotebook et Anaconda, qui conviennent à la science des données et au prototypage rapide. 2) L'environnement de développement de JavaScript comprend Node.js, VScode et WebPack, qui conviennent au développement frontal et back-end. Le choix des bons outils en fonction des besoins du projet peut améliorer l'efficacité du développement et le taux de réussite du projet.

C et C jouent un rôle essentiel dans le moteur JavaScript, principalement utilisé pour implémenter des interprètes et des compilateurs JIT. 1) C est utilisé pour analyser le code source JavaScript et générer une arborescence de syntaxe abstraite. 2) C est responsable de la génération et de l'exécution de bytecode. 3) C met en œuvre le compilateur JIT, optimise et compile le code de point chaud à l'exécution et améliore considérablement l'efficacité d'exécution de JavaScript.

JavaScript est largement utilisé dans les sites Web, les applications mobiles, les applications de bureau et la programmation côté serveur. 1) Dans le développement de sites Web, JavaScript exploite DOM avec HTML et CSS pour réaliser des effets dynamiques et prend en charge des cadres tels que JQuery et React. 2) Grâce à la réactnative et ionique, JavaScript est utilisé pour développer des applications mobiles multiplateformes. 3) Le cadre électronique permet à JavaScript de créer des applications de bureau. 4) Node.js permet à JavaScript d'exécuter le côté du serveur et prend en charge les demandes simultanées élevées.
