Bagaimana untuk mendapatkan bilangan pemohon dan penonton yang betul ketika merangkak halaman kerja 58.com?

58.com Maklumat Pengambilan Merangkak: Selesaikan masalah data pemohon dan penonton yang tidak konsisten

Apabila merangkak halaman pengambilan 58.com, anda sering menghadapi masalah yang sukar: bilangan pemohon dan bilangan penonton yang dipaparkan oleh kod sumber laman web tidak sepadan dengan data yang sebenarnya dipaparkan pada halaman, dan kod sumber sering dipaparkan sebagai 0, manakala data yang dikemas kini dalam masa nyata pada halaman adalah konsisten dengan kandungan unsur -unsur dalam alat pemaju pelayar (F12). Artikel ini akan meneroka cara menyelesaikan masalah ini dan mendapatkan pemohon dan penonton yang tepat.

Analisis Masalah:

Untuk mengelakkan data daripada dirayap secara berniat jahat, 58.com mengadopsi kaedah pemuatan data secara dinamik. Bilangan pemohon dan penonton di halaman tidak diperoleh secara langsung dari kod sumber HTML, tetapi dimuatkan secara asynchronously melalui JavaScript. Oleh itu, kod sumber HTML secara langsung tidak dapat memperoleh data yang betul.

Penyelesaian:

Untuk mendapatkan bilangan pemohon dan penonton yang betul, anda perlu mencari antara muka API yang disediakan oleh 58.com. Dengan menganalisis permintaan rangkaian, kami dapat mencari antara muka API untuk mendapatkan statistik maklumat pengambilan, dengan URL yang serupa dengan format berikut:

 <code>https://statisticszp.58.com/position/totalcount/?infoId=27988...</code>

Parameter infoId mewakili ID kedudukan tertentu dan perlu diekstrak berdasarkan URL halaman pengambilan sasaran.

API Mengembalikan Contoh Data:

Data JSON yang dikembalikan oleh antara muka API mengandungi maklumat yang kami perlukan:

 {
  "DeliveryCount": 1141, // bilangan pemohon "CommentCount": 0,
  "Infocount": 4, // bilangan penonton "resumeReadpercent": 0,
  "Rujukan": "",
  "Nexturl": "Null"
}

Medan deliveryCount menunjukkan bilangan pemohon, dan medan infoCount menunjukkan bilangan penonton.

Langkah Pelaksanaan:

1. Dapatkan ID Kerja (INFOID): Menganalisis URL halaman pengambilan sasaran dan cari nilai parameter yang sepadan dengan ID kerja. Ini mungkin memerlukan penggunaan ungkapan biasa atau kaedah pemprosesan rentetan lain.

2. Membina URL Permintaan API: Gantikan infoId yang diekstrak ke dalam templat URL API untuk membentuk URL permintaan API lengkap.

3. Hantar Permintaan API: Gunakan Perpustakaan requests Python atau pelanggan HTTP lain untuk menghantar permintaan GET ke URL API.

4. Menganalisis Data JSON: Mengurangkan data JSON yang dikembalikan oleh API ke dalam Kamus Python, mengeluarkan nilai -nilai deliveryCount dan infoCount , iaitu bilangan pemohon yang betul dan bilangan penonton.

Melalui langkah -langkah di atas, anda boleh memintas mekanisme pemuatan dinamik halaman web 58.com dan dengan tepat mendapatkan bilangan pemohon dan penonton pada halaman pengambilan. Sila ambil perhatian bahawa nama dan nama parameter antara muka API mungkin berubah dan perlu diselaraskan mengikut keadaan sebenar. Pada masa yang sama, sila mematuhi peraturan robots.txt 58.com untuk mengelakkan tekanan yang berlebihan pada pelayan.

Atas ialah kandungan terperinci Bagaimana untuk mendapatkan bilangan pemohon dan penonton yang betul ketika merangkak halaman kerja 58.com?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!