Python の「subprocess.Popen」と「readlines()」がハングするのはなぜですか?どうすれば修正できますか?

Python サブプロセス readlines() のハングの問題

概要

ファイルのストリーミングと出力を 1 行ずつ印刷することができますさまざまな方法を使って。ただし、readlines() でサブプロセスを利用すると、ハングの問題が発生する可能性があります。

Python スクリプト

Ruby ファイル "ruby_sleep.rb" をストリーミングするように設計された Python スクリプト "main.py" について考えてみましょう。その出力を印刷します。

import pty
import os
from subprocess import Popen, PIPE, STDOUT

file_path = '/path/to/ruby_sleep.rb'
command = ' '.join(["ruby", file_path])

master, slave = pty.openpty()
proc = Popen(command, bufsize=0, shell=True, stdout=slave, stderr=slave, close_fds=True)     
stdout = os.fdopen(master, 'r', 0)

while proc.poll() is None:
    data = stdout.readline()
    if data != "":
        print(data)
    else:
        break

print("This line is never reached")

問題と観察

このスクリプトを実行すると、期待どおり Ruby 出力がストリーミングされますが、readline() メソッドが無期限にハングし、その結果、「この行に到達することはありません」という文字列が出力されません。

解決策

このハング問題に対処するために、さまざまな解決策が提案されています。

1. Stdbuf

Stdbuf を使用すると、非対話モードでのライン バッファリングが有効になります。

from subprocess import Popen, PIPE, STDOUT

proc = Popen(['stdbuf', '-oL', 'ruby', 'ruby_sleep.rb'],
             bufsize=1, stdout=PIPE, stderr=STDOUT, close_fds=True)
for line in iter(proc.stdout.readline, b''):
    print line,
proc.stdout.close()
proc.wait()

2. Pexpect の採用

Pexpect はラインベースの制御に使用できます。

import pexpect

pexpect.run("ruby ruby_sleep.rb", logfile=sys.stdout)

3. PTY

PTY を使用すると、Ruby 側でのラインバッファリングを有効にする tty を提供できます。

import os
import pty
from subprocess import Popen, STDOUT

master_fd, slave_fd = pty.openpty()
proc = Popen(['ruby', 'ruby_sleep.rb'],
             stdin=slave_fd, stdout=slave_fd, stderr=STDOUT, close_fds=True)
os.close(slave_fd)
while 1:
    try:
        data = os.read(master_fd, 512)
    except OSError as e:
        if e.errno != errno.EIO:
            raise
        break # EIO means EOF on some systems
    else:
        if not data: # EOF
            break
        print('got ' + repr(data))
finally:
    os.close(master_fd)
    if proc.poll() is None:
        proc.kill()
    proc.wait()
    print("This is reached!")

以上がPython の「subprocess.Popen」と「readlines()」がハングするのはなぜですか?どうすれば修正できますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。