python - scrapy menangkap kandungan pendua tindak balas CNKI

Question

Lintas url yang meminta halaman bertukar

for i in range(3):
    yield Request("http:xx/page/%s"%str(i),callback=self.parse_page)

Hasilnya ialah permintaan respons berjaya, tetapi kandungannya adalah sama setiap kali Ia adalah kandungan permintaan pertama Walau bagaimanapun, menggunakan Posman untuk meminta URL yang dinomborkan secara berasingan tidak mempunyai masalah ini. == Pernahkah anda diharamkan?

Answer 1

Maka kita perlu menganalisis perbezaan antara pengepala yang diminta semasa mengakses menggunakan posmen atau pelayar dan meminta pengepala menggunakan scrapy

Answer 2

Diiktiraf oleh anti-merangkak

Answer 3

Lihat log yang dicetak oleh konsol untuk melihat sama ada halaman seterusnya telah dirangkak dengan betul
2017-06-29 09:26:13 [scrapy] DEBUG: Dikikis daripada <200 http:xx/page/x>,
Perhatikan sama ada x terakhir (http:xx/page/x) telah berubah