首页 > 后端开发 > Python教程 > 为什么在 Python 中流式传输 Ruby 文件时'subprocess.readlines()”挂起?

为什么在 Python 中流式传输 Ruby 文件时'subprocess.readlines()”挂起?

Mary-Kate Olsen
发布: 2024-12-06 12:59:15
原创
938 人浏览过

Why Does `subprocess.readlines()` Hang When Streaming a Ruby File in Python?

Python subprocess.readlines() 挂起

问题:

在以下 Python 代码中,使用 subprocess.readlines() 流式传输 Ruby 文件会导致程序无限期挂起,阻止执行最终的打印语句:

from subprocess import Popen, PIPE, STDOUT
import pty
import os

file_path = '/Users/luciano/Desktop/ruby_sleep.rb'
command = ' '.join(["ruby", file_path])
master, slave = pty.openpty()
proc = Popen(command, bufsize=0, shell=True, stdout=slave, stderr=slave, close_fds=True)
stdout = os.fdopen(master, 'r', 0)

while proc.poll() is None:
    data = stdout.readline()
    if data != "":
        print(data)
    else:
        break

print("This is never reached!")
登录后复制

原因:

这里的问题源于 pty 的使用,它用于伪终端处理。这通常会导致 Ruby 端出现行缓冲,导致 readline() 函数无限期地等待换行符。

解决方案:

有多种选择解决此问题:

1.使用 pexpect:

pexpect 在非交互式设置中启用行缓冲:

import sys
import pexpect

pexpect.run("ruby ruby_sleep.rb", logfile=sys.stdout)
登录后复制

2.使用 stdbuf:

stdbuf 可用于在非交互模式下启用行缓冲:

from subprocess import Popen, PIPE, STDOUT

proc = Popen(['stdbuf', '-oL', 'ruby', 'ruby_sleep.rb'],
             bufsize=1, stdout=PIPE, stderr=STDOUT, close_fds=True)
for line in iter(proc.stdout.readline, b''):
    print line,
proc.stdout.close()
proc.wait()
登录后复制

3.使用标准库中的 pty:

import errno
import os
import pty
from subprocess import Popen, STDOUT

master_fd, slave_fd = pty.openpty()  # provide tty to enable
                                     # line-buffering on ruby's side
proc = Popen(['ruby', 'ruby_sleep.rb'],
             stdin=slave_fd, stdout=slave_fd, stderr=STDOUT, close_fds=True)
os.close(slave_fd)
try:
    while 1:
        try:
            data = os.read(master_fd, 512)
        except OSError as e:
            if e.errno != errno.EIO:
                raise
            break # EIO means EOF on some systems
        else:
            if not data: # EOF
                break
            print('got ' + repr(data))
finally:
    os.close(master_fd)
    if proc.poll() is None:
        proc.kill()
    proc.wait()
print("This is reached!")
登录后复制

以上是为什么在 Python 中流式传输 Ruby 文件时'subprocess.readlines()”挂起?的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
作者最新文章
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板