Comment obtenir des données d'application et de visionneuse en temps réel sur la page de travail 58.com?

Comment utiliser des robots pour obtenir des données en temps réel de la page de recrutement 58.com?

Lorsque les informations de recrutement de Crawling 58.com, vous rencontrez souvent un problème: le nombre de candidats et de téléspectateurs affichés sur la page est mis à jour en temps réel, mais le code source de la page Web est affiché comme 0. Cependant, le panneau Elements dans l'outil de développeur de navigateur (F12) affiche les données correctes. En effet, 58.com utilise la technologie Ajax pour charger des données de manière asynchrone. Cet article vous guidera sur la façon d'obtenir ces données dynamiques.

Analyse des problèmes

Prenant une position médicale dans Pékin à titre d'exemple, la page affiche le nombre de candidats et de téléspectateurs en temps réel, mais les données du code source sont toujours 0, et les données du panneau des éléments de F12 sont cohérentes avec la page. L'extraction des données directement à partir du code source ne fonctionne pas.

Solution

Les données de la page sont chargées de manière asynchrone via les demandes AJAX, et nous devons trouver et saisir les données JSON pour ces demandes.

Après analyse, 58.com utilise des interfaces API spécifiques pour fournir ces données. Par exemple:

 <code>https://statisticszp.58.com/position/totalcount/?infoId=27988...</code>

Cette interface renvoie les données JSON, par exemple:

 {
  "DeliveryCount": 1141,
  "Commentcount": 0,
  "InfoCount": 4,
  "RessumeReadpercent": 0,
  "références": "",
  "nexurl": "null"
}

Lorsque "deliveryCount" représente le nombre de candidats, et "infoCount" représente le nombre de visiteurs.

Étapes de fonctionnement

1. Positionnement des demandes AJAX: Utilisez l'outil de développeur de navigateur (F12) pour trouver les demandes AJAX liées aux données dynamiques de page dans le panneau réseau.
2. Envoyez des demandes d'API: utilisez des outils Crawler (tels que la bibliothèque requests de Python) pour envoyer des demandes Get à l'interface API ci-dessus.
3. Analyser les données JSON: Extraire les champs "deliveryCount" et "infoCount" à partir des données JSON renvoyées, qui est le nombre de candidats et de téléspectateurs en temps réel.

Grâce aux étapes ci-dessus, vous pouvez obtenir avec succès les données d'application et de visionneuse en temps réel de la page de recrutement 58.com. Veuillez noter que infoId doit être remplacé en fonction de la page de recrutement cible. Pour éviter une pression excessive sur le serveur, veuillez contrôler la fréquence de rampe.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!