Beispielerklärung zur Verwendung von http- und https-Proxy in Python

不言
Freigeben: 2018-05-07 14:13:35
Original
2998 Leute haben es durchsucht

Dieser Artikel stellt hauptsächlich Beispiele für die Verwendung von http- und https-Proxy für Python vor. Jetzt kann ich ihn mit Ihnen teilen.

Die Verwendung von Python in China beim Crawlen Daten im Internet, einige Websites oder API-Schnittstellen sind geschwindigkeitsbeschränkt oder blockiert. In diesem Fall kann die Verwendung eines Proxys den Crawling-Prozess beschleunigen und Anforderungsfehler reduzieren. Die wichtigsten Möglichkeiten für Python-Programme, Proxys zu verwenden, sind wie folgt:

(1)Wenn Sie einige Netzwerkbibliotheken oder Crawler-Frameworks im Code zum Crawlen von Daten verwenden, unterstützen solche Frameworks im Allgemeinen Einstellungsagenten, zum Beispiel:

<span style="font-size:14px;">import urllib.request as urlreq 
# 设置https代理 
ph = urlreq.ProxyHandler({&#39;https&#39;: &#39;https://127.0.0.1:1080&#39;}) 
oper = urlreq.build_opener(ph) 
# 将代理安装到全局环境,这样所有请求都会自动使用代理 
urlreq.install_opener(oper) 
res = oper.open("https://www.google.com") 
print(res.read())</span>
Nach dem Login kopieren

<span style="font-size:14px;">import requests as req 
print(req.get("https://www.google.com", proxies={&#39;https&#39;: &#39;https://127.0.0.1:1080&#39;}).content)</span>
Nach dem Login kopieren

(2)Wenn die verwendete Bibliothek dies nicht zur Verfügung stellt eine Schnittstelle zum Festlegen eines Proxys, aber die unterste Ebene verwendet Bibliotheken wie urllib und Anfragen. Sie können versuchen, die Umgebungsvariablen HTTP_PROXY und HTTPS_PROXY festzulegen, die diese Umgebungsvariablen automatisch erkennen und den von den Variablen festgelegten Proxy verwenden Anfragen initiieren. Die Einstellungen sind wie folgt:

import os 
os.environ[&#39;http_proxy&#39;] = &#39;http://127.0.0.1:1080&#39; 
os.environ[&#39;https_proxy&#39;] = &#39;https://127.0.0.1:1080&#39;
Nach dem Login kopieren

(3)Wenn die beiden oben genannten Methoden nutzlos sind Sie können auch einige Tools verwenden, mit denen Netzwerkpakete überwacht, abgefangen und geändert werden können. Verwenden Sie Bibliotheken wie Fiddler und Mitmproxy, um http-Anforderungspakete abzufangen und die Adresse zu ändern, um den Effekt der Verwendung eines Proxys zu erzielen.

Verwandte Empfehlungen:

Python-Socket zum Senden der HTTP(s)-Anfragemethode verwenden

Das obige ist der detaillierte Inhalt vonBeispielerklärung zur Verwendung von http- und https-Proxy in Python. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Verwandte Etiketten:
Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website:Online-PHP-Schulung für das Gemeinwohl,Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln!