Heim > Backend-Entwicklung > Python-Tutorial > Wann sollte ich Pythons undokumentierten „ThreadPool' für die Parallelverarbeitung verwenden?

Wann sollte ich Pythons undokumentierten „ThreadPool' für die Parallelverarbeitung verwenden?

Mary-Kate Olsen
Freigeben: 2024-12-12 17:45:15
Original
154 Leute haben es durchsucht

When Should I Use Python's Undocumented `ThreadPool` for Parallel Processing?

Thread-basiertes Pooling im Multiprocessing

Das Multiprocessing-Modul bietet eine leistungsstarke „Pool“-Klasse zum Parallelisieren von Aufgaben mithilfe separater Prozesse. Allerdings verursacht dieser Ansatz aufgrund der Prozesserstellung einen Mehraufwand. Bei IO-gebundenen Vorgängen, bei denen die GIL während des eigentlichen Funktionsaufrufs freigegeben wird, kann die Verwendung von Threads zu einer besseren Leistung führen.

Einführung der ThreadPool-Klasse

Entgegen der landläufigen Meinung ist die Das Multiprocessing-Modul stellt tatsächlich eine Thread-basierte Poolschnittstelle bereit. Dieses versteckte Juwel, auf das über den multiprocessing.pool-Import ThreadPool zugegriffen werden kann, bietet eine bequeme Möglichkeit, Aufgaben mithilfe von Threads zu parallelisieren.

Trotz ihres undokumentierten Status implementiert die ThreadPool-Klasse die Multiprocessing-Pool-Schnittstelle mithilfe einer Dummy-Process-Klasse, die Python umschließt Threads. Diese Dummy-Prozessklasse befindet sich im Modul multiprocessing.dummy, das die gesamte Multiprocessing-Schnittstelle basierend auf Threads bietet.

Beispielverwendung

Ähnlich wie der ProcessPool kann der ThreadPool zur Parallelisierung von Kartenfunktionen verwendet werden:

import multiprocessing.pool

def long_running_func(p):
    c_func_no_gil(p)

p = multiprocessing.pool.ThreadPool(4)
xs = p.map(long_running_func, range(100))
Nach dem Login kopieren

Hinweis: Die Die ThreadPool-Klasse ist nicht in allen Fällen so effizient wie ProcessPool, insbesondere wenn Aufgaben viel CPU-Zeit erfordern.

Das obige ist der detaillierte Inhalt vonWann sollte ich Pythons undokumentierten „ThreadPool' für die Parallelverarbeitung verwenden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Neueste Artikel des Autors
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage