html - クロール時に「DNS ルックアップに失敗しました」と表示されますが、Web ページを開くときには問題ありません。何が起こっていますか?

Question

RT、Python を使用してクロールすると、最初は正常ですが、突然 Web ページがフリーズし、しばらく待つと通常に戻ります。しかし、このときに再度クロールすると、「」と報告されます。 DNS ルックアップに失敗しました。」 多くの Web サイトを試しましたが、Web ページは正常に開きます。

理由と解決策を教えてください。ひざまずいて、ありがとう！ ！

Answer 1

リーリー

http はプロトコルであり、アドレスの一部ではないため、DNS 解決は失敗します。この点から始めましょう。

たとえば、Baidu の Web サイトのアドレスを解析したい場合:
正しいアドレス: www.baidu.com
間違ったアドレス: http://www.baidu.com