Warum beschränkt der Import von Numpy die Multiverarbeitung auf einen einzelnen Kern?

Auswirkungen des Numpy-Imports auf die Multiprocessing-Kernzuweisung

Einführung:

Ziele von Multiprocessing, einer Python-Bibliothek zur Parallelisierung von Aufgaben um die Arbeit auf mehrere Kerne zu verteilen. Benutzer sind jedoch auf ein Problem gestoßen, bei dem der Import von Numpy diese Verteilung stört, was dazu führt, dass alle Arbeitsprozesse einem einzelnen Kern zugewiesen werden.

Erklärung:

Beim Importieren von Numpy Bestimmte CPU-intensive Module in Numpy (z. B. OpenBLAS) können die Kernaffinität ändern. Durch diese Interferenz werden alle Arbeitsprozesse demselben Kern zugewiesen, wodurch die Parallelisierungsvorteile der Mehrfachverarbeitung entfallen.

Problemumgehung:

Um dieses Problem zu beheben, setzen Sie die Aufgabenaffinität mithilfe des Codes zurück Snippet: os.system("taskset -p 0xff %d" % os.getpid()). Dieser Befehl zwingt das Betriebssystem, Arbeitsprozesse gleichmäßig auf alle verfügbaren Kerne zu verteilen.

Zusätzliche Überlegungen:

• Es wurde beobachtet, dass dieser Ansatz keine wesentlichen Auswirkungen hat auf die Leistung von Numpy, aber die Auswirkungen können je nach bestimmten Maschinen und Aufgaben variieren.

Alternative Lösungen:

• Setzen Sie die Umgebungsvariable OPENBLAS_MAIN_FREE=1 bevor Sie das Skript ausführen.
• Ändern Sie während der Kompilierung die OpenBLAS Makefile.rule so, dass sie NO_AFFINITY=1 enthält.

Durch die Anwendung dieser Lösungen kann Multiprocessing Arbeitsprozesse effektiv auf mehrere Kerne verteilen. Lösung des anfänglichen Problems des Kernclusterings und Verbesserung der Parallelisierungsleistung.

Das obige ist der detaillierte Inhalt vonWarum beschränkt der Import von Numpy die Multiverarbeitung auf einen einzelnen Kern?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!