Exemple d'explication de l'utilisation des proxy http et https en python

Cet article présente principalement des exemples d'utilisation de proxy http et https pour Python. Il a une certaine valeur de référence. Maintenant, je le partage avec vous. Les amis dans le besoin peuvent s'y référer

Utilisation de Python en Chine lors de l'exploration. sur Internet, certains sites Web ou interfaces API sont limités en vitesse ou bloqués. Dans ce cas, l'utilisation d'un proxy peut accélérer le processus d'exploration et réduire les échecs de requêtes. Les principales façons dont les programmes Python utilisent les proxys sont les suivantes :

(1)Si vous utilisez des bibliothèques réseau ou des frameworks d'exploration dans le code pour explorer les données, ces frameworks prendront généralement en charge la définition d'agents, par exemple :

<span style="font-size:14px;">import urllib.request as urlreq 
# 设置https代理 
ph = urlreq.ProxyHandler({&#39;https&#39;: &#39;https://127.0.0.1:1080&#39;}) 
oper = urlreq.build_opener(ph) 
# 将代理安装到全局环境，这样所有请求都会自动使用代理 
urlreq.install_opener(oper) 
res = oper.open("https://www.google.com") 
print(res.read())</span>

<span style="font-size:14px;">import requests as req 
print(req.get("https://www.google.com", proxies={&#39;https&#39;: &#39;https://127.0.0.1:1080&#39;}).content)</span>

(2)Si la bibliothèque utilisé n'est pas fourni. Définissez l'interface proxy, mais la couche inférieure utilise des bibliothèques telles que urllib et les requêtes. Vous pouvez essayer de définir les variables d'environnement HTTP_PROXY et HTTPS_PROXY qui identifieront automatiquement ces variables d'environnement et utiliseront le proxy défini par le. variables pour lancer les requêtes. Les paramètres sont les suivants :

import os 
os.environ['http_proxy'] = 'http://127.0.0.1:1080' 
os.environ['https_proxy'] = 'https://127.0.0.1:1080'

(3)Si ce qui précède deux méthodes sont inutiles, vous pouvez également utiliser certaines méthodes qui peuvent surveiller et intercepter ainsi que des outils et des bibliothèques qui modifient les paquets réseau tels que (Fiddler, mitmproxy) pour intercepter les paquets de requête http et modifier l'adresse pour obtenir l'effet de l'utilisation d'un proxy.

Recommandations associées :

Utilisez le socket Python pour envoyer la méthode de requête http(s)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!