讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何读取并处理实时产生的管道流数据【实战】

星瑶大大_5315

星瑶大大_5315

发布时间:2026-04-15 18:10:22

|

521人浏览过

|

来源于php中文网

原创

是,因POSIX管道语义要求写端就绪才open成功;应改用open(O_NONBLOCK)获fd后构造std::istream,或直接read()配合EAGAIN重试。

c++如何读取并处理实时产生的管道流数据【实战】

用 std::ifstream 直接读管道会卡死?原因和绕过方法

Linux 下用 std::ifstream 打开命名管道(FIFO)或匿名管道(如 /proc/self/fd/0)时,若写端尚未打开,open() 会阻塞——这不是 bug,是 POSIX 管道语义。C++ 标准库不提供非阻塞 open 接口,所以直接 std::ifstream pipe("/tmp/myfifo"); 可能永远等不到写端。

实战建议:

  • 改用 open() 系统调用 + O_NONBLOCK:先 mkfifo("/tmp/myfifo", 0644) 创建 FIFO,再用 int fd = open("/tmp/myfifo", O_RDONLY | O_NONBLOCK);,成功后用 fdopen(fd, "r") 包装成 FILE*,再喂给 std::istream(通过 std::filebuf)
  • 或者更轻量:跳过 iostream,直接用 read(fd, buf, sizeof(buf)-1) 循环读,遇到 EAGAIN 或 EWOULDBLOCK 就 sleep/usleep 后重试
  • 注意:O_NONBLOCK 对命名管道有效,但对 stdin(如 cat /dev/urandom | ./a.out)无效——此时 stdin 是普通文件描述符,read() 本身就不阻塞,除非流结束

如何边读边解析不定长的 JSON 行(NDJSON)流?

实时日志、监控数据常以每行一个 JSON 对象(NDJSON)形式经管道输入,不能等 EOF 才解析——std::getline() 是唯一靠谱选择,但要注意换行边界可能被截断。

实操要点:

立即学习“C++免费学习笔记(深入)”;

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载
  • 用 std::string line + std::getline(istream, line) 逐行读;不要用 operator>>,它会跳过空白并无法控制分隔符
  • 每次读到完整行后,立刻用轻量 JSON 库(如 nlohmann::json::parse(line))解析;若解析失败,记录错误行号但继续下一行(流式场景要容忍脏数据)
  • 缓冲区大小无关紧要:因为 std::getline 内部自动扩容 std::string,只要内存够,不怕超长行
  • 性能提示:避免在循环里反复构造/析构 nlohmann::json 对象,可复用一个对象调用 clear() 和 parse()

poll() 还是 select()?在 C++ 中监控多管道输入

当你的程序需同时监听 stdin、多个命名管道甚至网络 socket 时,靠轮询 read() 加 EAGAIN 太低效,必须用 I/O 多路复用。Linux 上优先选 poll(),而非已过时的 select()。

关键差异与写法:

  • select() 要求传入最大 fd+1,且每次调用后会修改传入的 fd_set,必须在循环内重置;poll() 无此限制,结构体数组可复用
  • 示例片段:
    struct pollfd fds[3] = {
        {.fd = STDIN_FILENO, .events = POLLIN},
        {.fd = fifo_fd1, .events = POLLIN},
        {.fd = fifo_fd2, .events = POLLIN}
    };
    int n = poll(fds, 3, 1000); // 1s 超时
    if (n > 0) {
        if (fds[0].revents & POLLIN) { /* 读 stdin */ }
        if (fds[1].revents & POLLIN) { /* 读 fifo1 */ }
    }
  • 注意:若某管道写端关闭,poll() 仍会返回 POLLIN,但后续 read() 返回 0(EOF),需主动 close 对应 fd 并从监控列表移除

字符编码与空字节陷阱:为什么读出来的字符串突然变短?

管道流本质是字节流,没有内置编码标记。如果上游写入的是 UTF-8 文本,下游用 std::string 存没问题;但如果上游混入二进制数据(如 Protobuf、图片 base64 片段),或写入含 \0 的字符串,用 std::string 构造或 c_str() 会提前截断。

应对方式取决于用途:

  • 纯文本处理(如日志分析):确保上游只写 UTF-8,且不插入 \0;用 std::string 安全
  • 二进制或混合流:改用 std::vector<uint8_t> 或 std::string_view(C++17)配合显式长度操作,绝不用 c_str()
  • 调试技巧:用 xxd -c 16 查看原始字节,确认是否真有 00;用 read() 返回值严格校验实际读取字节数,别信缓冲区末尾的 \0

真正麻烦的不是读,而是你默认“文本”却收到二进制——这问题往往在上游数据源定义不清时才暴露,得从协议层约定清楚分隔符或帧格式。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2228

2024.03.14

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

999

2024.03.14

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

407

2024.03.14

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

307

2024.03.14

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

386

2024.03.14

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

580

2024.03.14

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

1389

2024.03.21

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

1197

2024.03.22

FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

0

2026.10.08

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn