讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 中实现 os.pipe() 的累计字节数统计

酷枫小哥_7022

酷枫小哥_7022

发布时间:2026-02-06 16:48:57

|

635人浏览过

|

来源于php中文网

原创

Python 中实现 os.pipe() 的累计字节数统计

在 linux 下使用 `os.pipe()` 时,由于管道文件描述符不支持随机寻址(`lseek`),无法直接调用 `tell()` 获取累计写入字节数;但可通过封装一个具备 `write()` 和 `flush()` 方法的类,将计数逻辑内置于写入过程,从而准确追踪总字节数。

os.pipe() 返回一对底层文件描述符(read_fd, write_fd),它们本质上是不可寻址的流式通道,因此任何依赖 lseek 的操作(如 fileobj.tell())都会抛出 IOError: [Errno 29] Illegal seek。标准库中没有内置的“带计数的管道包装器”,但 Python 的 I/O 协议非常灵活:只要对象实现了 write()(接受 bytes/str)和 flush() 方法,就可被多数 I/O 相关函数(如 print(..., file=...)、sys.stdout = ... 或 subprocess.Popen(stdout=...))接受。

以下是一个轻量、线程安全(可选加锁)、符合 Python I/O 协议的累计计数写入器示例:

import os
import threading

class CountingWriter:
    def __init__(self, fd, encoding='utf-8'):
        self.fd = fd
        self._count = 0
        self._lock = threading.Lock()
        self.encoding = encoding

    def write(self, data):
        if isinstance(data, str):
            data = data.encode(self.encoding)
        # 原子写入并累加
        with self._lock:
            n = os.write(self.fd, data)
            self._count += n
        return n

    def flush(self):
        # 管道无缓冲,flush 可为空,但需存在以满足协议
        pass

    @property
    def written_bytes(self):
        with self._lock:
            return self._count

# 使用示例
rfd, wfd = os.pipe()

# 将计数写入器绑定到写端
writer = CountingWriter(wfd)

# 模拟写入
writer.write(b"Hello")
writer.write(" 世界\n".encode('utf-8'))
writer.flush()

print(f"累计写入字节数: {writer.written_bytes}")  # 输出: 13("Hello" + " 世界\n" = 5 + 8)

# 注意:读端仍需用 os.read(rfd, ...) 手动读取
# os.close(rfd); os.close(wfd)  —— 实际使用中请记得关闭 fd

⚠️ 注意事项:

python-parallelization
python-parallelization

将顺序 Python 代码转换为并行/并发实现,用于在需要并行化 Python 代码、提升性能时使用。

下载
  • CountingWriter 不提供 read() 或 close(),它仅代理写操作;管道生命周期仍需由调用方管理;
  • 若用于 sys.stdout = writer 场景,需确保所有输出均经此对象(例如 print("msg", file=writer)),且避免混用原生 os.write();
  • 多线程写入时务必加锁(如上例),否则 _count 可能出现竞态;
  • 对于 subprocess.Popen(stdout=writer),需注意子进程会继承该 fd,此时 writer 应仅作为“写入目标”而非主动读取方。

总结:虽然 os.pipe() 本身不提供字节计数能力,但借助 Python 的鸭子类型特性,自定义一个兼容 io.TextIOBase/io.BufferedIOBase 协议的写入器,即可在零侵入前提下精准统计累计写入量——这是兼顾简洁性与可扩展性的典型 Pythonic 解决方案。

立即学习“Python免费学习笔记(深入)”;

热门AI工具

更多
Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

2900

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

249

2026.02.03

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4218

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

1169

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

403

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

559

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

389

2026.02.06

C++多线程并发控制与线程安全设计实践
C++多线程并发控制与线程安全设计实践

本专题围绕 C++ 在高性能系统开发中的并发控制技术展开,系统讲解多线程编程模型与线程安全设计方法。内容包括互斥锁、读写锁、条件变量、原子操作以及线程池实现机制,同时结合实际案例分析并发竞争、死锁避免与性能优化策略。通过实践讲解,帮助开发者掌握构建稳定高效并发系统的关键技术。

233

2026.03.16

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

80

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn