Quelle est la meilleure approche pour paralléliser des fonctions Python indépendantes de manière asynchrone ?

Programmation parallèle en Python : un guide complet

Pour C, OpenMP fournit un mécanisme simple pour paralléliser le code. Cependant, les utilisateurs de Python sont confrontés à des difficultés lorsqu’ils recherchent des fonctionnalités similaires. Ce guide vise à relever ces défis en présentant une solution adaptée à Python, permettant aux programmeurs d'exploiter la puissance du traitement parallèle pour optimiser leur code.

Plus précisément, nous explorerons un scénario impliquant deux fonctions indépendantes, solve1(A ) et solve2(B), qui doivent être exécutés en parallèle plutôt que séquentiellement. L'exemple de code fourni met en évidence ces fonctions comme :

<code class="python">def solve(Q, G, n):
    ...
    setinneropt, partition, x = setinner(Q, G, n)
    ...
    if ...
        node1 = partition[0]
        node2 = partition[1]
    ...</code>

Les fonctions clés ici sont setinner et setouter, représentant les tâches indépendantes que nous souhaitons paralléliser.

L'approche recommandée utilise le module multitraitement de Python, notamment ses pools de traitement. Ces pools utilisent des processus de travail génériques, allouant un travailleur par cœur de processeur sur votre machine. Par conséquent, plusieurs processus de travail peuvent exécuter simultanément les tâches parallèles assignées.

Pour notre scénario spécifique, le code ressemblerait à ceci :

<code class="python">from multiprocessing import Pool
pool = Pool()
result1 = pool.apply_async(setinner, [Q, G, n])  # Evaluate "setinner(Q, G, n)" asynchronously
result2 = pool.apply_async(setouter, [Q, G, n])  # Evaluate "setouter(Q, G, n)" asynchronously
answer1 = result1.get(timeout=10)
answer2 = result2.get(timeout=10)</code>

En créant un pool de traitement, nous déléguons essentiellement le exécution de ces fonctions indépendantes pour séparer les processus, réalisant ainsi un traitement parallèle.

Il est important de noter que l'utilisation de threads pour la programmation parallèle en Python n'est pas recommandée en raison du Global Interpreter Lock (GIL), qui inhibe les opérations simultanées sur Objets Python. Par conséquent, les processus, plutôt que les threads, sont recommandés pour les efforts de programmation parallèle de Python.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!