讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何多线程分块读取大文件_pread线程安全读取【实战】

梦枫大大_9349

梦枫大大_9349

发布时间:2026-03-24 15:59:41

|

169人浏览过

|

来源于php中文网

原创

pread线程安全但需谨慎使用:各线程应独占fd、对齐st_blksize分块、私有有效缓冲区、避免混用read/lseek、控制单次读取64KB–1MB并隔离写入内存。

c++如何多线程分块读取大文件_pread线程安全读取【实战】

pread 是线程安全的,但用错方式照样崩

pread 本身不修改文件偏移量,调用时传入绝对偏移即可,多个线程同时读同一文件描述符(int fd)不会互相干扰——这点和 read 不同。但它不是万能护身符:如果多个线程共用同一个 fd,而你在某处意外调用了 lseek 或 read,就会污染其他线程的预期行为;更常见的是,fd 被提前 close,导致其他线程 pread 返回 -1 并置 errno = EBADF。

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • 每个线程独占一个 fd(open 一次,各自持有),避免任何共享文件描述符引发的隐式状态冲突
  • 务必检查 pread 返回值:0 表示已到 EOF,负值需结合 errno 判断(如 EINTR 可重试,EBADF 或 EINVAL 则必须终止)
  • 不要混用 pread 和 read/lseek 在同一 fd 上,哪怕看似“只读”也不安全

分块逻辑必须对齐文件系统边界(尤其 ext4/xfs)

直接按字节切分(比如每线程读 128MB)看似合理,但若块边界落在文件系统块中间,可能触发额外的磁盘寻道或缓存失效。Linux 下 stat 能拿到 st_blksize,这才是内核推荐的 I/O 对齐单位。

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • 用 fstat(fd, &sb) 获取 sb.st_blksize,分块大小设为它的整数倍(常见 4KB、64KB)
  • 起始偏移也对齐到 st_blksize:比如你想从字节 1000 开始读,实际应从 (1000 / blksize) * blksize 向下取整对齐
  • 最后一块长度不足对齐单位?没关系,pread 允许读少于请求长度,只要没超 EOF 就正常返回实际字节数

std::thread + pread 容易踩的内存与生命周期坑

C++ 多线程里最常出问题的不是 pread,而是数据生命周期管理:你把文件路径字符串、缓冲区指针、fd 塞进 std::thread 构造函数,却忘了它们是否在子线程启动前就析构了。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • 缓冲区必须是线程私有且全程有效的:别传栈变量地址(如 char buf[64*1024]),改用 std::vector<char></char> 或 new char[] 分配,并在线程函数内管理释放
  • fd 必须在子线程中打开,或确保主线程不会提前 close;若必须复用,用 dup(fd) 给每个线程一个副本
  • 避免捕获局部变量到 lambda:写 [fd, offset, buf_ptr, len]{...} 比 [&]{...} 安全得多

性能瓶颈往往不在 pread,而在 memcpy 和缓存竞争

单次 pread 调用本身开销极小,但如果你每读 4KB 就调用一次,系统调用频率会吃掉大量 CPU;反过来,读太大(如 1GB)又容易触发 page fault 和 TLB miss。更隐蔽的问题是:所有线程往同一块内存区域(比如一个大 std::vector<char></char>)写入,会引发 false sharing 和 cache line bouncing。

实操建议:

立即学习“C++免费学习笔记(深入)”;

  • 单次 pread 请求大小控制在 64KB–1MB 区间,平衡系统调用开销和内存页效率
  • 每个线程写入独立缓冲区,后续再合并;别让多个线程同时往一个大 buffer 的不同偏移写
  • 用 posix_memalign 分配对齐内存(如 64-byte 对齐),减少 cache line 冲突

真正难的不是调用 pread,而是让每个线程的读起点、缓冲区、生命周期、内存布局都互不干扰——稍一松懈,errno = EFAULT 或静默数据错位就来了。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

相关专题

更多
js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1798

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2824

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6164

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

5909

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

7534

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

11194

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

5759

2025.07.29

c++字符串相关教程
c++字符串相关教程

本专题整合了c++字符串相关教程,阅读专题下面的文章了解更多详细内容。

6307

2025.08.07

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

60

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn