Wie kann ich Python-Schleifen parallelisieren, um die Effizienz zu steigern?

Parallelisierung von Python-Schleifen für mehr Effizienz

In Python kann die Parallelisierung von Schleifen die Leistung für CPU-gebundene Aufgaben erheblich verbessern. Um die bereitgestellte Schleife zu parallelisieren, die Werte mithilfe der Funktion calc_stuff berechnet und die Ergebnisse in separaten Listen akkumuliert, gibt es zwei effektive Ansätze:

Methode 1: Multiprocessing

Due Aufgrund des Global Interpreter Lock (GIL) von Python bringt die Verwendung mehrerer Threads keine Vorteile für CPU-gebundene Aufgaben. Stattdessen ist Multiprocessing eine geeignetere Option.

Mit dem Multiprocessing-Modul können Sie einen Prozesspool mit mehreren Arbeitsprozessen erstellen, wie unten gezeigt:

pool = multiprocessing.Pool(4)  # Create a pool with 4 worker processes
out1, out2, out3 = zip(*pool.map(calc_stuff, range(0, 10 * offset, offset)))

Die Kartenfunktion sendet jedes Element im Bereichsiterator zu einem Arbeitsprozess, sammelt die zurückgegebenen Ergebnisse und entpackt sie in out1, out2 und out3 Listen.

Methode 2: Concurrent.futures Python 3.2

Eine weitere praktische Möglichkeit zur Parallelisierung von Schleifen ist die Verwendung des Concurrent.futures-Moduls, das eine optimierte Schnittstelle für die Verwendung bereitstellt Thread- und Prozesspools:

with concurrent.futures.ProcessPoolExecutor() as pool:
    out1, out2, out3 = zip(*pool.map(calc_stuff, range(0, 10 * offset, offset)))

Dieser Ansatz verwendet einen Prozesspool unter der Haube, der sich ähnlich verhält wie der Multiprocessing-Methode.

Beide Methoden ermöglichen die parallele Ausführung der calc_stuff-Funktion an verschiedenen Eingängen, was zu schnelleren Ausführungszeiten für CPU-intensive Schleifen führt.

Das obige ist der detaillierte Inhalt vonWie kann ich Python-Schleifen parallelisieren, um die Effizienz zu steigern?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!