Ausführliche Erklärung, wie Python-Crawler Proxys zum Crawlen von Webseiten verwenden

Proxy-Typ (Proxy): Transparenter Proxy, anonymer Proxy, Verwirrungs-Proxy und Proxy mit hoher Anonymität. Hier finden Sie einige Informationen zu Python-Crawlern, die Proxys verwenden, und einer Proxy-Pool-Klasse um verschiedene Aspekte der Arbeit zu bewältigen.

Das urllib-Modul verwendet einen Proxy

Die Verwendung eines Proxys für urllib/urllib2 ist problematischer. Sie müssen zuerst eine ProxyHandler-Klasse erstellen und dann diese Klasse verwenden, um die zu öffnende Opener-Klasse zu erstellen Öffnen Sie die Webseite und verwenden Sie sie dann in der Anfrage. Installieren Sie den Öffner.

Das Proxy-Format ist „http://127.0.0.1:80“. Wenn Sie das Kontokennwort wünschen, lautet es „http:/“. /user:password@127.0.0.1:80" Wenn es mehrmals verwendet wird, können Sie es mit

session

proxy="http://127.0.0.1:80"
# 创建一个ProxyHandler对象
proxy_support=urllib.request.ProxyHandler({'http':proxy})
# 创建一个opener对象
opener = urllib.request.build_opener(proxy_support)
# 给request装载opener
urllib.request.install_opener(opener)
# 打开一个url
r = urllib.request.urlopen('http://youtube.com',timeout = 500)

erstellen.

Wenn Sie einen Proxy verwenden müssen, können Sie eine einzelne Anfrage konfigurieren, indem Sie den Proxys-Parameter für jede Anfragemethode angeben :

Sie können auch die Umgebungs-

Variablen

HTTP_PROXY und HTTPS_PROXY übergeben, um den Proxy zu konfigurieren.

import requests
proxies = {
  "http": "http://127.0.0.1:3128",
  "https": "http://127.0.0.1:2080",
}
r=requests.get("http://youtube.com", proxies=proxies)
print r.text

Wenn Ihr Proxy HTTP Basic Auth verwenden muss, können Sie http://user:password@host/ verwenden. Syntax:

Die Proxy-Nutzung von Python ist sehr einfach. Das Wichtigste ist, einen Agenten mit einem stabilen und zuverlässigen Netzwerk zu finden. Wenn Sie Fragen haben, hinterlassen Sie bitte eine Nachricht

export HTTP_PROXY="http://127.0.0.1:3128"
export HTTPS_PROXY="http://127.0.0.1:2080"
python
>>> import requests
>>> r=requests.get("http://youtube.com")
>>> print r.text

Das obige ist der detaillierte Inhalt vonAusführliche Erklärung, wie Python-Crawler Proxys zum Crawlen von Webseiten verwenden. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!