Comment exécuter plusieurs `cat | Commandes zgrep` en parallèle avec Python ?

Python : Exécution du sous-processus Cat en parallèle

Ce script vise à exécuter plusieurs cat | zgrep sur un serveur distant et capturez leurs sorties individuellement pour un traitement ultérieur. Cependant, l'implémentation actuelle exécute ces commandes de manière séquentielle, ce qui nuit aux performances.

Pour résoudre ce problème, nous pouvons exploiter la puissance du parallélisme en Python. En modifiant le code comme suit, nous pouvons exécuter les appels de sous-processus en parallèle tout en conservant la possibilité de collecter le résultat de chaque commande individuellement :

<code class="python">import asyncio
import sys
from subprocess import Popen, PIPE, STDOUT

# Run commands in parallel
processes = [Popen('ssh remote_host cat files_to_process | zgrep --mmap "regex"',
                     shell=True, stdin=PIPE, stdout=PIPE, stderr=STDOUT, close_fds=True)
              for _ in range(5)]

# Collect outputs in parallel
def get_lines(process):
    return process.communicate()[0].splitlines()

outputs = [get_lines(process) for process in processes]</code>

Ce code mis à jour utilise la classe Process du module de sous-processus pour créer des sous-processus pour chaque commande. Il utilise ensuite la méthode de communication pour capturer le résultat de chaque processus. En fournissant une chaîne vide comme entrée du paramètre stdin, nous pouvons spécifier qu'aucune entrée ne doit être envoyée au sous-processus.

Le script montre également comment utiliser une compréhension de liste pour créer une liste de processus et un liste des sorties simultanément. Cette approche offre une implémentation plus simple et plus concise par rapport à l'utilisation du multitraitement ou du threading.

De plus, le script utilise le paramètre close_fds pour garantir que les descripteurs de fichiers des processus enfants sont fermés après leur utilisation. Cela permet d'éviter d'éventuelles fuites de ressources ou erreurs lorsque les sous-processus sont exécutés en parallèle.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!