クローラー テクノロジーは https をクロールできますか?
まず、https とは何かを理解しましょう。
https とは HTTP SSL のことです。つまり、前の平文をHTTPの通信方式に基づいて暗号化して送信するため、情報の暗号化方式と秘密鍵を決定して送信するため、送信中に盗まれたり、偽造されたりしても、情報が漏洩することはありません。
クローラーの本質は、ブラウザーのふりをしてサーバーにリクエストを送信し、プロセス全体に参加することです。そのため、https リンクもクロールできますが、その前提となるのは、偽造されたクライアントが正しいSSL証明書。
エラーの原因を見つける
クローラの実行中に SSL エラーが表示される場合、通常、ローカル証明書または関連する SSL ライブラリが正しくインストールされておらず、サーバーが
証明書例外の問題の解決
CA 証明書の問題については、次の集中ソリューションを参照できます。
##1. CA 証明書を検証せず、セキュリティ警告を無視しますcoding=utf-8import requests# 不验证CA证书则需要忽略安全警告方式一:import urllib3urllib3.disable_warnings()方式二:from requests.packages.urllib3.exceptions import InsecureRequestWarningrequests.packages.urllib3.disable_warnings(InsecureRequestWarning)r=requests.get(url=“https://www.baidu.com/”,verify=False)print r.elapsed.total_seconds()
リーリー
以上がクローラー技術は https をクロールできますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。