PC アクセスがモバイルアドレスの問題になっている#python#scrapy

Question

scrapy を使用して Himalaya をクロールし、PC アドレスをクロールします。エントリ リンクの応答は問題ありませんが、その後の応答にはモバイル アドレスが表示されます。 。 。 。

スパイダーコードは次のとおりです:

リーリー

コンソール出力:

middlewares.RotateUserAgentMiddleware を書きましたが、これは効果的で、出力内容も確認できます。

クロール防止メカニズムが作動しているのでしょうか?

Answer 1

ヘッダーにユーザーエージェントが設定されていないためです

Answer 2

リクエストヘッダーを慎重に設定してください。通常、モバイル端末かどうかの判断はユーザーエージェントに依存します
何もせずにデータにアクセスできますが、これはターゲット Web サイトがホットリンク対策にあまり注意を払っていないことも示しています