Wie kann ich NumPy-Arrays im Shared Memory für die Mehrfachverarbeitung in Python verwenden?

NumPy-Arrays im Shared Memory für Multiprocessing verwenden

Beim Arbeiten mit Multiprocessing in Python kann die gemeinsame Nutzung von Arrays zwischen Prozessen eine Herausforderung darstellen. Die Verwendung eines NumPy-Arrays im Multiprocessing kann Schwierigkeiten bereiten, wenn es sich wie ein NumPy-Array und nicht wie ein einfaches ctypes-Array verhalten soll.

Problembeschreibung

Im bereitgestellten Beispiel , wird das NumPy-Array in ein ctypes Array()-Objekt eingeschlossen. Dies ermöglicht zwar den ctypes-Zugriff auf das Array, verliert jedoch die Funktionalität eines NumPy-Arrays. Operationen wie -1*arr oder arr.sum() können nicht ausgeführt werden, und die Rückkonvertierung in ein NumPy-Array würde den gemeinsamen Speicher beschädigen.

Lösung mit shared_arr.get_lock()

Um die NumPy-Array-Funktionalität beizubehalten, während Sie ein gemeinsam genutztes Speicherarray verwenden, können Sie die Methode get_lock() verwenden, die von einem gemeinsam genutzten Array aus verfügbar ist Array:

shared_arr = mp.Array(ctypes.c_double, N)

def f(i):
    with shared_arr.get_lock():
        arr = np.frombuffer(shared_arr.get_obj())
        arr[i] = -arr[i]

Mit der Methode get_lock() können Sie den Zugriff auf das gemeinsam genutzte Array synchronisieren und sicherstellen, dass innerhalb des Prozesses wie auf ein NumPy-Array zugegriffen wird.

Beispiel

Der folgende Code bietet ein verbessertes Beispiel, das die NumPy-Array-Funktionalität beibehält und gleichzeitig Shared verwendet Speicher:

import multiprocessing as mp
import numpy as np

N = 100
shared_arr = mp.Array(ctypes.c_double, N)
arr = np.frombuffer(shared_arr.get_obj())

# Fill the shared array with random values
arr[:] = np.random.uniform(size=N)

# Create a pool of processes
with mp.Pool(initializer=init, initargs=(shared_arr,)) as pool:

    # Define functions that modify the shared array
    def f(i):
        with shared_arr.get_lock():
            arr -= 1 # Subtract 1 from each array element within the process

    pool.map(f, range(N))

# Check the modified shared array
assert np.allclose(arr, -1)

In diesem Beispiel richtet die Funktion init() den shared_arr für jeden Prozess ein und die Funktion f() bearbeitet das gemeinsam genutzte Array innerhalb der Sperre. Nach dem Beitritt zum Pool kann der Hauptprozess dann auf das geänderte gemeinsam genutzte Array zugreifen. Diese Methode bietet eine synchronisierte und NumPy-kompatible Möglichkeit, ein gemeinsam genutztes Array im Multiprocessing zu verwenden.

Das obige ist der detaillierte Inhalt vonWie kann ich NumPy-Arrays im Shared Memory für die Mehrfachverarbeitung in Python verwenden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!