讲师中心 微信公众号
AI工具推荐 视频效率加速

C++实现大文件分片上传逻辑 _ 偏移量控制与文件流合并【源码】

老伟大大_4085

老伟大大_4085

发布时间:2026-04-12 20:38:42

|

293人浏览过

|

来源于php中文网

原创

C++大文件分片上传需手动控制偏移量、避免内存爆炸、确保字节顺序一致:以binary模式打开文件,用seekg精确跳转并clear()清除failbit,显式传递offset/size至服务端,合并时seekp定位写入并flush,MD5须流式校验完整文件。

c++实现大文件分片上传逻辑 _ 偏移量控制与文件流合并【源码】

大文件分片上传在 C++ 中无法靠单次 freadstd::ifstream::read 一气呵成,核心在于手动控制偏移量、避免内存爆炸、确保合并后字节顺序与原文件完全一致——否则视频打不开、PDF 解析失败、校验和对不上。

std::ifstream 配合 seekg 精确读取指定分片

不能直接打开文件后连续读,必须对每个分片显式跳转到起始位置。关键点是:文件需以 std::ios::binary 模式打开;seekg 的偏移量单位是字节,且必须是 std::streamoff 类型;每次读前都要检查 failbit,因为跳转可能越界(最后一片常小于片长)。

常见错误现象:seekgread 返回 0 字节,但没报错——其实是流状态被置为 fail,后续操作静默失败。

  • 分片起始偏移量 = chunk_index * chunk_size,注意用 static_cast<:streamoff></:streamoff> 转换
  • 实际读取长度 = std::min(chunk_size, file_size - offset),必须手动计算,不能依赖 gcount() 做唯一判断
  • 每次 seekg 后立即调用 clear() 清除可能残留的 failbit(尤其上一片读到 EOF 后)

分片上传时如何携带并校验偏移量信息

服务端必须知道每个分片的原始位置,否则合并时顺序错乱。C++ 客户端不能只传二进制数据,必须在 HTTP 请求头或 JSON body 中显式传递 offsetsize 字段。

立即学习C++免费学习笔记(深入)”;

使用场景:断点续传。客户端需先向服务端查询已上传的分片列表(例如 GET /upload/status?file_id=abc),再跳过已存在的 offset 区间。

C++
C++

"空空如也"

下载
  • 推荐在请求头中加 X-Upload-Offset: 1048576X-Upload-Size: 524288,比放 body 更轻量、更易被 Nginx / CDN 透传
  • 服务端返回 200 表示接受该片,返回 204 表示该 offset 已存在(跳过);不要用 409,语义不准确
  • C++ 发送时用 curl_easy_setopt(handle, CURLOPT_HTTPHEADER, headers) 设置头,别忘了 curl_slist_append 构造链表

本地合并分片文件必须用 std::ofstreamstd::ios::binary | std::ios::out 模式逐片追加

不是“把所有分片读进内存再写一次”,而是打开目标文件一次,用 seekp 定位 + write 写入。否则 2GB 文件拆成 100 片,合并时临时占用 2GB 内存+磁盘缓存,极易 OOM。

性能影响:频繁 seekp 在机械硬盘上会有寻道开销,但远小于全量加载;SSD 上可忽略。

  • 目标文件需提前 resize 到最终大小(ftruncate 或 Windows 的 SetFilePointerEx + SetEndOfFile),避免合并时文件不断扩展导致碎片
  • 每片写入前调用 seekp(offset),然后 write(buf, actual_size);不要用 app 模式——它强制追加到末尾,破坏偏移逻辑
  • 写完立刻 flush(),防止程序崩溃时部分数据滞留在缓冲区

MD5 校验必须在合并后、且用流式计算而非全文件 load

很多人在分片上传时对每片单独算 MD5,再拼接——这毫无意义。完整文件的 MD5 ≠ 各分片 MD5 拼接,也不等于各分片 MD5 的异或或哈希组合。

容易踩的坑:用 std::filesystem::file_size 获取大小后直接 new char[size] 加载整个文件算 MD5,2GB 文件直接触发 bad_alloc

  • 合并完成后,用 std::ifstreambinary 模式打开目标文件,分 8KB~64KB 块循环 read + 更新 MD5 上下文(如 OpenSSL 的 EVP_DigestUpdate
  • 务必检查每次 readgcount(),EOF 时停止,不要假设最后一次一定读满
  • 如果服务端也做了合并,建议客户端和服务端各自独立计算最终文件 MD5 并比对,这是唯一可靠的完整性验证方式

偏移量不是数字游戏,是字节级的契约。少一个 clear(),多一次 seekg 失败未检测,合并后的文件就差一个字节——而这个字节往往在文件头,导致整个文件不可用。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

363

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2967

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

5445

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

541

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1436

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3898

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

102

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

397

2026.01.13

Buffalo框架路由与请求处理实操指南
Buffalo框架路由与请求处理实操指南

本专题讲解Buffalo框架路由与请求处理机制,涵盖路由注册与分组、资源路由、Handler编写规范、Context上下文方法、参数绑定、中间件编写挂载、Session与Cookie读写、Flash消息及错误页面定制方法。

0

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn