为什么 Python 的 `subprocess.Popen` 和 `readlines()` 会挂起，如何修复它？

Python子进程readlines()挂起问题

简介

可以实现流式传输文件并逐行打印输出使用各种方法。然而，使用带有 readlines() 的子进程可能会导致挂起问题。

Python 脚本

考虑设计用于流式传输 Ruby 文件“ruby_sleep.rb”的 Python 脚本“main.py”和打印其输出。

import pty
import os
from subprocess import Popen, PIPE, STDOUT

file_path = '/path/to/ruby_sleep.rb'
command = ' '.join(["ruby", file_path])

master, slave = pty.openpty()
proc = Popen(command, bufsize=0, shell=True, stdout=slave, stderr=slave, close_fds=True)     
stdout = os.fdopen(master, 'r', 0)

while proc.poll() is None:
    data = stdout.readline()
    if data != "":
        print(data)
    else:
        break

print("This line is never reached")

问题和观察

执行此脚本按预期流式传输 Ruby 输出，但 readline() 方法无限期挂起，导致“永远无法到达此行”字符串永远不会被打印。

解决方案

已提出各种解决方案来解决此挂起问题：

1.利用 Stdbuf

Stdbuf 可以在非交互模式下启用行缓冲。

from subprocess import Popen, PIPE, STDOUT

proc = Popen(['stdbuf', '-oL', 'ruby', 'ruby_sleep.rb'],
             bufsize=1, stdout=PIPE, stderr=STDOUT, close_fds=True)
for line in iter(proc.stdout.readline, b''):
    print line,
proc.stdout.close()
proc.wait()

2.使用 Pexpect

Pexpect 可用于基于行的控制。

import pexpect

pexpect.run("ruby ruby_sleep.rb", logfile=sys.stdout)

3.使用 PTY

PTY 允许提供 tty 以在 Ruby 端启用行缓冲。

import os
import pty
from subprocess import Popen, STDOUT

master_fd, slave_fd = pty.openpty()
proc = Popen(['ruby', 'ruby_sleep.rb'],
             stdin=slave_fd, stdout=slave_fd, stderr=STDOUT, close_fds=True)
os.close(slave_fd)
while 1:
    try:
        data = os.read(master_fd, 512)
    except OSError as e:
        if e.errno != errno.EIO:
            raise
        break # EIO means EOF on some systems
    else:
        if not data: # EOF
            break
        print('got ' + repr(data))
finally:
    os.close(master_fd)
    if proc.poll() is None:
        proc.kill()
    proc.wait()
    print("This is reached!")

以上是为什么 Python 的 `subprocess.Popen` 和 `readlines()` 会挂起，如何修复它？的详细内容。更多信息请关注PHP中文网其他相关文章！