Beispiel für die gemeinsame Nutzung von Python zum Abrufen einer Proxy-IP

Dieser Artikel stellt hauptsächlich das Teilen von Beispielen zum Erhalten von Proxy-IP vor. Er hat einen gewissen Referenzwert. Jetzt können Freunde in Not darauf zurückgreifen.

Normalerweise, wenn wir etwas crawlen müssen Wenn Daten benötigt werden, gibt es immer einige Websites, die den wiederholten Zugriff auf dieselbe IP verbieten. Zu diesem Zeitpunkt sollten wir eine Proxy-IP verwenden, um uns vor jedem Besuch zu tarnen, damit der „Feind“ sie nicht erkennen kann.

ooooooooooooooOK, lasst uns fröhlich durchstarten!

Dies ist die Datei, um die Proxy-IP zu erhalten. Ich habe sie modularisiert und in drei Funktionen unterteilt

Hinweis: Es wird etwas Englisch geben Kommentare im Artikel Um das Schreiben von Code zu erleichtern, sind schließlich ein oder zwei Wörter auf Englisch in Ordnung

#!/usr/bin/python
#-*- coding:utf-8 -*-
"""
author:dasuda
"""
import urllib2
import re
import socket
import threading
findIP = [] #获取的原始IP数据
IP_data = [] #拼接端口后的IP数据
IP_data_checked = [] #检查可用性后的IP数据
findPORT = [] #IP对应的端口
available_table = [] #可用IP的索引
def getIP(url_target):
 patternIP = re.compile(r&#39;(?<=<td>)[\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}&#39;)
 patternPORT = re.compile(r&#39;(?<=<td>)[\d]{2,5}(?=</td>)&#39;)
 print "now,start to refresh proxy IP..."
 for page in range(1,4):
  url = &#39;http://www.xicidaili.com/nn/&#39;+str(page)
  headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"}
  request = urllib2.Request(url=url, headers=headers)
  response = urllib2.urlopen(request)
  content = response.read()
  findIP = re.findall(patternIP,str(content))
  findPORT = re.findall(patternPORT,str(content))
  #assemble the ip and port
  for i in range(len(findIP)):
   findIP[i] = findIP[i] + ":" + findPORT[i]
   IP_data.extend(findIP)
  print(&#39;get page&#39;, page)
 print "refresh done!!!"
 #use multithreading
 mul_thread_check(url_target)
 return IP_data_checked
def check_one(url_check,i):
 #get lock
 lock = threading.Lock()
 #setting timeout
 socket.setdefaulttimeout(8)
 try:
  ppp = {"http":IP_data[i]}
  proxy_support = urllib2.ProxyHandler(ppp)
  openercheck = urllib2.build_opener(proxy_support)
  urllib2.install_opener(openercheck)
  request = urllib2.Request(url_check)
  request.add_header(&#39;User-Agent&#39;,"Mozilla/5.0 (Windows NT 10.0; WOW64)")
  html = urllib2.urlopen(request).read()
  lock.acquire()
  print(IP_data[i],&#39;is OK&#39;)
  #get available ip index
  available_table.append(i)
  lock.release()
 except Exception as e:
  lock.acquire()
  print(&#39;error&#39;)
  lock.release()
def mul_thread_check(url_mul_check):
 threads = []
 for i in range(len(IP_data)):
  #creat thread...
  thread = threading.Thread(target=check_one, args=[url_mul_check,i,])
  threads.append(thread)
  thread.start()
  print "new thread start",i
 for thread in threads:
  thread.join()
 #get the IP_data_checked[]
 for error_cnt in range(len(available_table)):
  aseemble_ip = {&#39;http&#39;: IP_data[available_table[error_cnt]]}
  IP_data_checked.append(aseemble_ip)
 print "available proxy ip:",len(available_table)

1. getIP(url_target): Die eingehenden Parameter der Hauptfunktion sind: die URL, um die Verfügbarkeit der Proxy-IP zu überprüfen. Es wird empfohlen, dass ipchina

die Proxy-IP von der Website http://www.xicidaili.com/nn/ bezieht Eine Website, die kostenlose Proxy-IP bereitstellt, aber nicht alle darin enthaltenen IPs. Sie kann verwendet werden, und basierend auf Ihrem tatsächlichen geografischen Standort, den Netzwerkbedingungen, dem Zielserver, auf den zugegriffen wird usw., können wahrscheinlich zumindest weniger als 20 % verwendet werden mein Fall.

Verwenden Sie beim Besuch der Website http://www.xicidaili.com/nn/ den zurückgegebenen Webseiteninhalt, um die erforderliche IP und den entsprechenden Port zu erhalten Folgendes:

patternIP = re.compile(r&#39;(?<=<td>)[\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}&#39;)
patternPORT = re.compile(r&#39;(?<=<td>)[\d]{2,5}(?=</td>)&#39;)
...
findIP = re.findall(patternIP,str(content))
findPORT = re.findall(patternPORT,str(content))

Informationen zum Erstellen eines regulären Ausdrucks finden Sie in anderen Artikeln:

Die erhaltene IP wird in findIP gespeichert und der entsprechende Port befindet sich in findPORT. Die beiden entsprechen Index. Die normale Anzahl der auf einer Seite erhaltenen IPs beträgt 100.

Führen Sie als Nächstes das IP- und Port-Splicing durch

Führen Sie abschließend eine Verfügbarkeitsprüfung durch

2 . check_one(url_check,i): Thread-Funktion

Dieses Mal wird auf url_check auf normale Weise zugegriffen, was bedeutet, dass die Proxy-IP verfügbar ist Der aktuelle Indexwert wird aufgezeichnet, der später zum Extrahieren aller verfügbaren IPs verwendet wird.

3. mul_thread_check(url_mul_check): Multi-Thread-Generierung

Diese Funktion ermöglicht Multithreading, um die Proxy-IP-Verfügbarkeit zu überprüfen IP startet einen Thread. Schau es dir an.

Dieses Projekt ruft getIP() direkt auf und übergibt die zur Verfügbarkeitsprüfung verwendete URL, die eine Liste der auf Verfügbarkeit geprüften IP-Adressen im Format

['ip1:port1','ip2:port2',....]

Related zurückgibt Empfehlungen:

Instanz eines Python-Crawlers, der Proxy-IP abruft und die Verfügbarkeit überprüft

Python-Methode zum Sammeln von Proxy-IP und zum Ermitteln, ob sie verfügbar ist, und zum Aktualisieren es regelmäßig

Das obige ist der detaillierte Inhalt vonBeispiel für die gemeinsame Nutzung von Python zum Abrufen einer Proxy-IP. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!