讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在Python中使用subprocess.Popen实时读取子进程输出?

大浩小哥_7742

大浩小哥_7742

发布时间:2026-09-23 14:39:27

|

970人浏览过

|

来源于php中文网

原创

subprocess.Popen 不能直接用 stdout.read(),因为它会阻塞至子进程结束才返回全部输出,无法实时获取;且若子进程缓冲未刷新(如未设 -u 或 flush=True),父进程可能永久卡住。

如何在python中使用subprocess.popen实时读取子进程输出?

subprocess.Popen 为什么不能直接用 stdout.read()?

因为 stdout.read() 是阻塞式读取,会一直等到子进程结束才返回全部输出,完全违背“实时”需求。更糟的是,如果子进程持续输出但不主动刷新缓冲区(比如 Python 脚本没加 print(..., flush=True)),父进程可能永远卡在 read 上。

真正能实时读的,是配合 stdout=PIPE + iter(stdout.readline, b'')stdout.readline() 循环,但前提是子进程输出行缓冲或无缓冲——否则你得先解决子进程自身的缓冲问题。

  • Linux/macOS 下可用 stdbuf -oL -eL command 强制行缓冲
  • Python 子进程可加 -u 参数:如 python -u script.py
  • 避免用 shell=True,它会干扰 stdbuf 和 -u 的行为

用 iter(stdout.readline, b'') 实现非阻塞逐行读取

这是最轻量、兼容性最好的方式,适用于大多数命令行工具和脚本。关键点在于:必须设 bufsize=1(行缓冲)或 0(无缓冲),且 stdout 必须是二进制模式(text=False)才能用 b'' 终止符。

import subprocess
<p>proc = subprocess.Popen(
['python', '-u', '-c', 'for i in range(3): print(f"line {i}"); import time; time.sleep(1)'],
stdout=subprocess.PIPE,
stderr=subprocess.STDOUT,
bufsize=1,
text=False  # 注意:text=False 才能用 b''
)</p><p>for line in iter(proc.stdout.readline, b''):
print(f"→ {line.decode().strip()}")</p><p>proc.wait()
  • 如果子进程提前退出,readline() 会返回空 bytes,循环自然终止
  • bufsize=1 在二进制模式下实际启用行缓冲,比 bufsize=0 更省 CPU
  • 别漏掉 proc.wait(),否则子进程可能变成僵尸进程

想同时读 stdout 和 stderr 还要实时?用 threading + queue

单线程下无法同时阻塞读两个流而不卡死(一个流没输出时会 block 整个循环)。标准解法是开两个线程分别读,把结果丢进 queue.Queue,主线程消费。

Shadows Python Sensei
Shadows Python Sensei

Python 最佳实践助手——代码规范、设计模式、性能优化、测试与类型注解。适用于编写或审查 Python 代码。

下载

立即学习Python免费学习笔记(深入)”;

import subprocess, threading, queue
<p>def enqueue_output(out, queue):
for line in iter(out.readline, b''):
queue.put(('stdout', line))
out.close()</p><p>proc = subprocess.Popen(
['python', '-u', '-c', 'print("out"); print("err", file=<strong>import</strong>("sys").stderr);'],
stdout=subprocess.PIPE,
stderr=subprocess.PIPE,
bufsize=1,
text=False
)</p><p>q = queue.Queue()
threading.Thread(target=enqueue_output, args=(proc.stdout, q), daemon=True).start()
threading.Thread(target=enqueue_output, args=(proc.stderr, q), daemon=True).start()</p><p>while True:
try:
stream, line = q.get(timeout=0.1)
print(f"[{stream}] {line.decode().strip()}")
except queue.Empty:
if proc.poll() is not None:
break
  • 两个线程都设 daemon=True,避免主程序退出时卡住
  • timeout=0.1 避免主线程永久阻塞,配合 proc.poll() 判断是否结束
  • 注意:Windows 下某些命令(如 dir)可能不按行输出,这时需改用 read(1) 单字节读,但性能差很多

subprocess.run 不适合实时读取,别被文档误导

文档里说 run “等同于 Popen + wait”,但它内部做了完整捕获(stdout=subprocess.PIPE + communicate()),全程阻塞。哪怕你传了 stdout=PIPErun 也只在返回对象里给你最终结果,没有中间过程。

  • 想“实时”,必须用 Popen,绕不开手动管理管道和生命周期
  • communicate() 是安全的全量读取,但不是实时;它和 readline() 是互斥方案
  • 别试图在 run 返回后去读它的 stdout 属性——那只是 bytes 缓存,不是活的 pipe 对象

真正麻烦的从来不是语法,而是子进程是否真的在逐行输出、缓冲区有没有被 shell 或 libc 拦截、Windows 控制台对 \r\n 的处理……这些细节一错,实时就变成“等它自己结束”。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1551

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

3684

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1569

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

21097

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2607

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2667

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1083

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

576

2023.08.10

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

0

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn