クローラー技術は https をクロールできますか?

silencement
リリース: 2019-05-29 15:02:58
オリジナル
6696 人が閲覧しました

クローラー技術は https をクロールできますか?

クローラー テクノロジーは https をクロールできますか?

まず、https とは何かを理解しましょう。

https とは HTTP SSL のことです。つまり、前の平文をHTTPの通信方式に基づいて暗号化して送信するため、情報の暗号化方式と秘密鍵を決定して送信するため、送信中に盗まれたり、偽造されたりしても、情報が漏洩することはありません。

クローラーの本質は、ブラウザーのふりをしてサーバーにリクエストを送信し、プロセス全体に参加することです。そのため、https リンクもクロールできますが、その前提となるのは、偽造されたクライアントが正しいSSL証明書。

エラーの原因を見つける

クローラの実行中に SSL エラーが表示される場合、通常、ローカル証明書または関連する SSL ライブラリが正しくインストールされておらず、サーバーが

証明書例外の問題の解決

CA 証明書の問題については、次の集中ソリューションを参照できます。

##1. CA 証明書を検証せず、セキュリティ警告を無視します

coding=utf-8import requests# 不验证CA证书则需要忽略安全警告方式一:import urllib3urllib3.disable_warnings()方式二:from requests.packages.urllib3.exceptions import InsecureRequestWarningrequests.packages.urllib3.disable_warnings(InsecureRequestWarning)r=requests.get(url=“https://www.baidu.com/”,verify=False)print r.elapsed.total_seconds()
ログイン後にコピー

2. 証明書の場所または証明書が含まれるフォルダーを指定します (このフォルダーは OpenSSL ツールによって作成されます)

リーリー

以上がクローラー技術は https をクロールできますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

関連ラベル:
ソース:php.cn
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
最新の問題
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート