對python使用http、https代理人的實例講解

這篇文章主要介紹了關於對python使用http、https代理的實例講解，有著一定的參考價值，現在分享給大家，有需要的朋友可以參考一下

在國內利用Python從在網路上爬取資料時，有些網站或API介面被限速或封鎖，這時使用代理可以加速爬取過程，減少請求失敗，Python程式使用代理程式的方法主要有以下幾種：

（1）如果是在程式碼中使用一些網路程式庫或爬蟲框架進行資料爬取，一般這種框架都會支援設定代理，例如：

#

<span style="font-size:14px;">import urllib.request as urlreq 
# 设置https代理 
ph = urlreq.ProxyHandler({&#39;https&#39;: &#39;https://127.0.0.1:1080&#39;}) 
oper = urlreq.build_opener(ph) 
# 将代理安装到全局环境，这样所有请求都会自动使用代理 
urlreq.install_opener(oper) 
res = oper.open("https://www.google.com") 
print(res.read())</span>

<span style="font-size:14px;">import requests as req 
print(req.get("https://www.google.com", proxies={&#39;https&#39;: &#39;https://127.0.0.1:1080&#39;}).content)</span>

#（2）如果使用的函式庫沒有提供設定代理的接口，但是底層使用了urllib、requests等函式庫，可以嘗試設定HTTP_PROXY 和HTTPS_PROXY環境變量，常用的網路庫會自動辨識這些環境變量，使用變數設定的代理程式發起請求，設定如下：

import os 
os.environ['http_proxy'] = 'http://127.0.0.1:1080' 
os.environ['https_proxy'] = 'https://127.0.0.1:1080'

（3）如果上述兩種方法都沒有用，那麼還可以使用一些可以監聽、攔截和修改網路包的工具和函式庫如（Fiddler、mitmproxy）來攔截http請求封包並修改位址，達到使用代理的效果。

相關推薦：

利用python的socket發送http(s)請求方法

#

以上是對python使用http、https代理人的實例講解的詳細內容。更多資訊請關注PHP中文網其他相關文章！