php - snoopy crawler melaporkan ralat 405 Tidak Dibenarkan

Question

Kod

$httpClass = new Snoopy();
$httpClass->fetch('https://v.qq.com/');
$url = $httpClass->results;
print_r($url);mati();

Merangkak https://www.baidu.com/ terus melaporkan 405 ralat

Merangkak https://v.qq.com/ berjalan seperti biasa

Mencari jawapan, saya telah mengerjakannya sepanjang petang dan masih tidak dapat menyelesaikannya

Answer 1

Baidu mungkin mempunyai tetapan seperti perangkak Anda perlu menyamar dan mentakrifkan UA atau sesuatu seperti itu
Rujukan: http://www.4wei.cn/archives/396

Answer 2

Ini bukan masalah jenis Snoopy. Ini kerana anda tidak tahu banyak tentang crawler. Oleh kerana terdapat crawler, sudah tentu akan ada teknologi anti-crawler. Yang paling mudah adalah berdasarkan pengecam penyemak imbas atau perujuk dalam pengepala permintaan, dsb. Tapak web besar seperti Baidu dan Tencent tidak mahu kami merangkak data, jadi mereka mesti telah mengambil banyak langkah pencegahan. Oleh itu, adalah disyorkan untuk memahami pengetahuan crawler sebelum merangkak data.