讲师中心 微信公众号
AI工具推荐 视频效率加速

c++怎么多线程分段下载文件并合并_seekp并发写入【附源码】

阿晨姑娘_7844

阿晨姑娘_7844

发布时间:2026-04-01 18:49:30

|

1017人浏览过

|

来源于php中文网

原创

std::ofstream::seekp 多线程下非线程安全,会导致文件指针错乱、数据覆盖;正确做法是预分配文件大小,各线程独占 fd/handle,用 pwrite(Linux)或 WriteFile+OVERLAPPED(Windows)进行偏移写入。

c++怎么多线程分段下载文件并合并_seekp并发写入【附源码】

std::ofstream::seekp 在多线程下直接调用会崩

不是线程安全的。多个线程同时对同一个 std::ofstream 对象调用 seekp + write,会导致文件指针错乱、数据覆盖或写入失败——C++ 标准库的流对象几乎都不支持并发访问。

  • 即使每个线程写入的 offset 不重叠,seekp 和后续 write 之间没有原子性,中间可能被其他线程打断
  • 底层 file descriptor 的 position 是共享状态,lseek + write 组合在 POSIX 层也不保证原子跨线程
  • Windows 上 SetFilePointerEx + WriteFile 同样不解决竞争问题,除非用 OVERLAPPED 或单独句柄

正确做法:每个线程独占一个文件句柄 + 预分配空间

核心是绕过流对象的内部状态竞争,改用底层系统调用或明确控制写入位置。先用 ftruncate(Linux/macOS)或 SetEndOfFile(Windows)把文件拉到最终大小,再让每个线程打开同一文件的**独立 fd/handle**,用 pwrite(Linux/macOS)或 WriteFile 配 OVERLAPPED(Windows)做偏移写入。

  • Linux 示例:用 open(path, O_RDWR | O_CREAT) 每个线程开一次,然后 pwrite(fd, buf, size, offset) —— 这个函数本身是原子的,不依赖当前文件指针
  • Windows 示例:用 CreateFile 打开时加 FILE_FLAG_NO_BUFFERING(可选),WriteFile 必须配合初始化好的 OVERLAPPED 结构体,其中 Offset 和 OffsetHigh 显式指定位置
  • 预分配不可省:否则 pwrite 写越界会失败(返回 -1 并设 errno = EINVAL),Windows 同理

合并环节根本不需要“合并”

分段下载 + 定位写入完成后,文件已经是完整内容,不存在“合并文件”的步骤。所谓“合并”,其实是误以为各线程写的是临时文件——那才需要后续拼接。真并发写入同一文件,完成即就绪。

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载
  • 如果用了临时文件(如 part_0.bin, part_1.bin),那是放弃定位写入优势,又回到单线程顺序拼接的老路,还多出磁盘 IO 和 rename 成本
  • 检查是否成功:下载完对整个文件做一次 lseek(fd, 0, SEEK_END) 确认长度,再用 md5sum 或内存 mmap 校验分段 hash
  • 注意:不要用 std::filesystem::copy_file(..., copy_options::append) 来“合并”,它不支持偏移,只会追加

附最小可行源码片段(Linux)

int fd = open("target.bin", O_RDWR | O_CREAT, 0644);
ftruncate(fd, total_size); // 预分配
<p>// 每个线程:
char buf[64 <em> 1024];
ssize_t n = download_chunk(..., buf, sizeof(buf));
ssize_t written = pwrite(fd, buf, n, start_offset); // start_offset 由分段逻辑算好
if (written != n) { /</em> 处理错误,比如磁盘满或中断 */ }</p>

Windows 版需封装 OVERLAPPED 初始化和 WriteFile 调用,关键点是每次调用前设置 ol.Offset = static_cast<dword>(offset & 0xFFFFFFFF)</dword> 和 ol.OffsetHigh = static_cast<dword>(offset >> 32)</dword>。

立即学习“C++免费学习笔记(深入)”;

真正麻烦的从来不是怎么写,而是怎么让所有线程对齐 offset、处理断点续传、应对网络超时重试——这些逻辑一旦没压住,seekp 即便线程安全也救不了下载完整性。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

相关专题

更多
golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

4154

2025.06.09

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

4291

2025.07.04

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

319

2026.04.23

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

3678

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

1029

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

363

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

519

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

369

2026.02.06

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

0

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn