Wie kann ich den HTTP-Anforderungsversand für 100.000 URLs in Python 2.6 optimieren?

Optimierung der HTTP-Anforderungsverteilung in Python

Die Verarbeitung umfangreicher HTTP-Anfragen kann in Python eine Herausforderung darstellen, insbesondere bei Aufgaben mit Tausenden von URLs . In diesem Artikel wird eine hocheffiziente Lösung zum Versenden von 100.000 HTTP-Anfragen in Python 2.6 untersucht, die Parallelität und Threading nutzt, um die Leistung zu maximieren.

Twistedless-Lösung:

Das folgende Code-Snippet bietet eine schnelle und effektive Methode zum Senden von HTTP-Anfragen gleichzeitig:

from urlparse import urlparse
from threading import Thread
import httplib, sys
from Queue import Queue

concurrent = 200

def doWork():
    while True:
        url = q.get()
        status, url = getStatus(url)
        doSomethingWithResult(status, url)
        q.task_done()

def getStatus(ourl):
    try:
        url = urlparse(ourl)
        conn = httplib.HTTPConnection(url.netloc)   
        conn.request("HEAD", url.path)
        res = conn.getresponse()
        return res.status, ourl
    except:
        return "error", ourl

def doSomethingWithResult(status, url):
    print status, url

q = Queue(concurrent * 2)
for i in range(concurrent):
    t = Thread(target=doWork)
    t.daemon = True
    t.start()
try:
    for url in open('urllist.txt'):
        q.put(url.strip())
    q.join()
except KeyboardInterrupt:
    sys.exit(1)

Erklärung:

• Es wird ein Thread-Pool mit einem konfigurierbaren Grad an Parallelität erstellt (in diesem Fall 200).
• Jeder Thread im Pool führt die doWork-Funktion aus, die URLs aus einer Warteschlange abruft und zum Abrufen HTTP-HEAD-Anfragen sendet Statuscodes.
• Die Ergebnisse werden in der Funktion doSomethingWithResult verarbeitet, die angepasst werden kann, um basierend auf der Antwort andere Vorgänge zu protokollieren oder auszuführen.
• Die Warteschlange stellt sicher, dass Aufgaben gleichmäßig auf die Threads verteilt werden , wodurch Konflikte minimiert und der Durchsatz erhöht werden.

Dieser Ansatz ist nachweislich schneller als die Twisted-basierte Lösung und reduziert gleichzeitig die CPU-Auslastung. Es bietet eine äußerst effiziente und zuverlässige Möglichkeit, umfangreiche HTTP-Anfragen in Python 2.6 zu verarbeiten.

Das obige ist der detaillierte Inhalt vonWie kann ich den HTTP-Anforderungsversand für 100.000 URLs in Python 2.6 optimieren?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!