网页爬虫 - 【如图】python爬取的html页面和浏览器显示源码的结果不同

Answer 1

実際にテストした結果、bs4 は属性の順序を変更するという結論になりました。

1. ブラウザでページを右クリックし、次の項目を選択します。

検査要素

Web ページのソース コードを表示します

2. Python3 プログラムでの比較:

リーリー

結果:

リーリー

Answer 2

クラスと ID の順序が違うだけです。
Chrome と Firefox を使用して同じ Web ページのソース コードを表示すると、順序も異なります。

Answer 3

誰もがデバッグを手伝ってもらえるように、質問者が Web サイトまたは自分のコードを投稿することをお勧めします。クローラーによってクロールされたコンテンツが静的ページとして保存され、ブラウザーで表示されるものと異なる場合は、相手のアンチクローラー メカニズムがそれを認識しているはずなので、サーバーは異なる情報を返します。 。クローラーを識別する方法はたくさんあります。ご不明な点がございましたら、お気軽にお問い合わせください。

Answer 4

投稿者は、Web サイトではユーザーが人間のブラウザーを操作しているのかクローラーを操作しているのかを識別できるため、すべてのソース コードを投稿することを推奨しています。

現在のコードを見ると、ヘッダー情報を追加することをお勧めします。 use-agent そのコード行です。