Python - Scrapy は CNKI 応答の重複コンテンツをキャプチャします

Question

ページめくりを要求する URL をトラバースします

リーリー

結果として、応答リクエストは成功しましたが、内容は毎回同じです。これは最初のリクエストの内容です。ただし、Postman を使用してページ分割された URL を個別にリクエストすると、この問題は発生しません。 = = 禁止されたことはありますか? 以前はこのようなことはありませんでした

Answer 1

次に、postman またはブラウザを使用するときに要求されるヘッダーと、scrapy を使用するときに要求されるヘッダーの違いを分析する必要があります

Answer 2

アンチクロールによって認識されています

Answer 3

次のページが正しくクロールされているかどうかを確認するには、コンソールによって出力されたログを見てください
2017-06-29 09:26:13 [scrapy] DEBUG: からスクレイピングされました、
Pay最後のx (http:xx/page/x) が変わっているかどうかに注目してください