Scraper efficacement les sites Web JavaScript

Les possibilités d'utilisation de JavaScript pour l'exploration Web

Sites Web statiques : Axios et Cheerio
Passons en revue l'exploration d'un site Web de commerce électronique statique à l'aide de JavaScript. Pour cet exemple, nous utiliserons deux bibliothèques populaires : Axios pour les requêtes HTTP et Cheerio pour l'analyse HTML.

*1. Installer les dépendances *
Installez Axios et Cheerio avec npm :

npm installer axios cheerio

*2. Créer un script *
Créez un fichier JavaScript, par ex. B. scrapeEcommerce.js et ouvrez-le dans votre éditeur de code.

*3. Importer des modules *
Importez Axios et Cheerio dans votre script :

const axios = require('axios');

const cheerio = require('cheerio');

*4. Définir l'URL cible *
Sélectionnez le site Web de commerce électronique auquel vous souhaitez accéder. Dans cet exemple, nous utilisons l'URL hypothétique http://example-ecommerce.com. Remplacez-le par l'URL souhaitée :

const url = 'http://exemple-ecommerce.com';

*5. Obtenez du contenu HTML *
Utilisez Axios pour envoyer une requête GET à l'URL cible et obtenir le contenu HTML :

axios.get(url)

.then(réponse => {

const html = réponse.data;

// Le contenu HTML peut désormais être analysé

})

.catch(erreur => {

console.error('Erreur lors de la récupération de la page :', erreur);

});

*6. Analyser le HTML et extraire les données *
Utilisez Cheerio pour analyser le code HTML et extraire les informations souhaitées, telles que les noms de produits et les prix :

axios.get(url)

.then(réponse => {

const html = réponse.data;

const $ = cheerio.load(html);

const products = [];  

$('.product').each((index, element) => {  
  const name = $(element).find('.product-name').text().trim();  
  const price = $(element).find('.product-price').text().trim();  
  products.push({ name, price });  
});  

console.log(products);  

})

.catch(erreur => {

console.error('Erreur lors de la récupération de la page :', erreur);

});

*Points les plus importants *

• axios.get(url) : envoie une requête GET et renvoie une promesse.
• .then(response => { … }) : Si la requête réussit, le contenu HTML est dans réponse.data.
• cheerio.load(html) : charge le contenu HTML dans Cheerio pour une manipulation du DOM de type jQuery.
• $('.product').each((index, element) => { … }) : itère sur tous les éléments .product.
• $(element).find('.product-name').text().trim() : Extrait le nom du produit.
• $(element).find('.product-price').text().trim() : Extrait le prix du produit.
• products.push({ name, price }) : ajoute les informations sur le produit au tableau de produits.
• console.log(products) : affiche les informations extraites.

*Exemple de script complet : *
const axios = require('axios');

const cheerio = require('cheerio');

const url = 'http://example-ecommerce.com';

axios.get(url)

.then(réponse => {

const html = réponse.data;

const $ = cheerio.load(html);

const products = [];  

$('.product').each((index, element) => {  
  const name = $(element).find('.product-name').text().trim();  
  const price = $(element).find('.product-price').text().trim();  
  products.push({ name, price });  
});  

console.log(products);  

})

.catch(erreur => {

console.error('Erreur lors de la récupération de la page :', erreur);

});

*Personnalisations pour votre page de destination : *

• Sélecteurs : Les sélecteurs .product, .product-name et .product-price doivent être adaptés à la structure HTML réelle de la page cible.
• Données supplémentaires : pour des informations supplémentaires (par exemple, images de produits, liens, descriptions), vérifiez la structure HTML correspondante.

Outil de scraping Web pour scraper des sites Web à l'aide de JavaScript

Si vous avez récemment besoin de Python, Ruby ou d'un autre langage de programmation pour le web scraping, Octoparse est un excellent outil, en particulier pour les sites Web prenant en charge JavaScript.

Prenons un exemple concret : Si vous avez un site Web cible et que vous souhaitez commencer le scraping, vous devez d'abord vérifier si le site est bloqué contre le scraping JS. Différents sites Web utilisent différentes méthodes de protection, et cela peut prendre un certain temps et des essais frustrants avant de réaliser que quelque chose ne va pas, surtout si le scraping ne produit pas les résultats souhaités. Cependant, avec un outil de web scraping, le processus d'extraction des données se déroule sans problème.

De nombreux outils de web scraping vous évitent d'écrire des robots d'exploration. Octoparse est particulièrement efficace pour supprimer les pages contenant beaucoup de JavaScript et peut extraire les données de 99 % des pages Web, y compris celles utilisant Ajax. Il propose également des services de résolution de Captcha. Octoparse est gratuit et offre une fonction de découverte automatique et plus de 100 modèles faciles à utiliser qui permettent une extraction efficace des données. Les nouveaux utilisateurs peuvent également profiter d'un essai de 14 jours.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!