Le multitraitement peut-il partager des données partagées en lecture seule sans réplication ?

Le multitraitement réplique-t-il les données partagées en lecture seule ?

Introduction

Dans les scénarios multitraitements, il est crucial d'optimiser l'utilisation des ressources en garantissant que les données partagées sont pas dupliqué sur plusieurs processus. Comprendre comment les données en lecture seule sont traitées dans ces situations peut permettre d'économiser une quantité importante de mémoire et de performances.

Question

Considérez le code Python suivant :

<code class="python">glbl_array = # a 3 Gb array

def my_func(args, def_param=glbl_array):
    # do stuff on args and def_param

if __name__ == '__main__':
    pool = Pool(processes=4)
    pool.map(my_func, range(1000))</code>

Pouvons-nous garantir ou encourager que les différents processus partagent le glbl_array sans créer de copies individuelles ?

Réponse

Pour garantir un accès partagé sans duplication, nous pouvons utiliser le mécanisme de mémoire partagée fourni par le module multitraitement en Python. Voici comment cela peut être implémenté :

<code class="python">import multiprocessing
import ctypes
import numpy as np

shared_array_base = multiprocessing.Array(ctypes.c_double, 10 * 10)
shared_array = np.ctypeslib.as_array(shared_array_base.get_obj())
shared_array = shared_array.reshape(10, 10)

# Parallel processing
def my_func(i, def_param=shared_array):
    shared_array[i, :] = i

if __name__ == '__main__':
    pool = multiprocessing.Pool(processes=4)
    pool.map(my_func, range(10))

    print(shared_array)</code>

Détails d'implémentation

Le code crée un tableau de mémoire partagée (shared_array_base) à l'aide de la classe multiprocessing.Array. Il le convertit ensuite en un tableau Numpy (shared_array) pour une manipulation pratique.

La fonction principale (my_func) prend shared_array comme paramètre par défaut pour éviter toute copie inutile, et la sémantique de copie sur écriture de Linux garantit que la duplication des données ne se produit que lorsque des modifications sont apportées à la zone partagée.

En exécutant le code, vous remarquerez que le shared_array partagé est imprimé sans aucune duplication, indiquant que les processus partageaient le même objet mémoire.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!