如何执行多个`cat | zgrep` 命令与 Python 并行？

Python：并行执行 Cat 子进程

此脚本旨在运行多个 cat | zgrep 在远程服务器上执行命令，并单独捕获它们的输出以进行进一步处理。然而，当前的实现是按顺序执行这些命令，这会影响性能。

为了解决这个问题，我们可以利用 Python 中并行性的力量。通过按如下方式修改代码，我们可以并行执行子流程调用，同时仍然保持单独收集每个命令的输出的能力：

<code class="python">import asyncio
import sys
from subprocess import Popen, PIPE, STDOUT

# Run commands in parallel
processes = [Popen('ssh remote_host cat files_to_process | zgrep --mmap "regex"',
                     shell=True, stdin=PIPE, stdout=PIPE, stderr=STDOUT, close_fds=True)
              for _ in range(5)]

# Collect outputs in parallel
def get_lines(process):
    return process.communicate()[0].splitlines()

outputs = [get_lines(process) for process in processes]</code>

此更新的代码利用子流程模块中的 Process 类来为每个命令创建子进程。然后它使用通信方法来捕获每个进程的输出。通过提供一个空字符串作为 stdin 参数的输入，我们可以指定不应将任何输入发送到子进程。

该脚本还演示了如何使用列表理解来创建进程列表和同时输出的列表。与使用多处理或线程相比，这种方法提供了更简单、更简洁的实现。

此外，该脚本使用 close_fds 参数来确保子进程的文件描述符在使用后关闭。这有助于防止子进程并行执行时潜在的资源泄漏或错误。

以上是如何执行多个`cat | zgrep` 命令与 Python 并行？的详细内容。更多信息请关注PHP中文网其他相关文章！