讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何实现大文件的断点续传_记录写入偏移量【附源码】

老丽吖_9388

老丽吖_9388

发布时间:2026-03-26 19:47:31

|

692人浏览过

|

来源于php中文网

原创

断点续传必须自行持久化管理偏移量,不可依赖fseek/ftell;Windows需用_fseeki64/_ftelli64防32位截断;offset文件须原子写入、严格ASCII十进制格式、与目标文件同目录且受互斥锁保护。

c++如何实现大文件的断点续传_记录写入偏移量【附源码】

断点续传必须自己管理偏移量,fseek 和 ftell 不可靠

大文件传输中断后重连,不能依赖系统自动“记住写到哪”,C++ 标准库的 FILE* 在关闭/重打开时不会保留上次写入位置。哪怕你用 fseek(fp, 0, SEEK_END) 获取当前长度,也只反映磁盘上已有字节,不等于“上次成功写入的逻辑偏移”——尤其当写入中途崩溃、缓存未刷盘、或文件被其他进程截断时,ftell 返回值可能错乱。

真正能信任的只有你主动记录并持久化的偏移量。常见错误是:把 ftell 当作断点依据,结果续传时重复写或跳过一段。

  • 每次成功写入一批数据(比如 64KB)后,立刻更新本地记录文件(如 resume.offset),内容仅为纯数字,例如 123456789
  • 写入前先调用 fflush(fp),再写 offset 文件;两个操作都成功才算本次写入落地
  • offset 文件必须和目标文件同目录、同名加后缀,避免路径不一致导致找不到
  • 不要用 std::ofstream 默认构造打开 offset 文件——它会清空内容;要用 std::ios::out | std::ios::trunc 显式控制

用 mmap 写大文件?别碰,msync + 偏移记录更难搞

有人想用内存映射加速大文件写入,但断点续传场景下 mmap 反而增加复杂度:msync 的同步粒度难控,MAP_SHARED 下其他进程改文件会导致映射失效,且偏移量无法直接从映射地址推算(要考虑页面对齐、prot 权限等)。实际测试中,普通 fwrite 配合 setvbuf 调大缓冲区(如 1MB),性能差距微乎其微,还省去信号处理和段错误兜底。

  • 坚持用 fopen(..., "ab") 追加模式打开目标文件,避免 "r+b" 引发的定位混乱
  • 写入前用 fseek(fp, offset, SEEK_SET) 定位,但仅用于校验:调用 ftell(fp) 确认是否真到了该位置,不等就 abort
  • 如果传输协议本身带分块 hash(如 HTTP Range + ETag),优先比对已写块的哈希,而非只信 offset 数字

多线程写同一个文件?必须加锁,且 offset 文件也要互斥访问

并发写入时,即使每个线程写不同区间,write 系统调用在内核层仍可能因缓存合并导致偏移错位。更危险的是多个线程同时更新 resume.offset:A 线程刚读出 100MB,B 线程写完 50MB 后覆盖成 150MB,A 再写 20MB 后覆盖成 120MB——最终 offset 文件变成 120MB,但实际磁盘有 170MB 数据,下次续传直接损坏。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

立即学习“C++免费学习笔记(深入)”;

  • 所有对目标文件的 fwrite 和对 offset 文件的写入,必须包裹在同一把互斥锁里(如 std::mutex)
  • offset 文件建议用 rename 原子替换:先写临时文件 resume.offset.tmp,再 rename 覆盖原文件,避免写一半崩溃留下脏数据
  • 不要用 flock 锁文件——Windows 不支持,跨平台项目直接废掉

Windows 上 _fseeki64 和 _ftelli64 是刚需

32 位偏移函数在 Windows 下遇到 >2GB 文件就会回绕,fseek(fp, 10000000000, SEEK_SET) 可能实际跳到 1410065408 字节。Linux 的 off_t 默认是 64 位,但 Windows 的 long 是 32 位,fseek 参数类型不匹配。不换函数,续传超过 2GB 必然错位。

  • Windows 平台必须用 _fseeki64 / _ftelli64,参数类型为 __int64,头文件是 io.h
  • Linux 保持用 fseek / ftell 即可,但注意编译时定义 _FILE_OFFSET_BITS=64(glibc 默认已开)
  • 跨平台代码可用宏封装:#ifdef _WIN32 分支调用 _fseeki64,否则走标准函数

最易被忽略的一点:offset 文件的内容必须是十进制 ASCII 数字,不能带空格、换行或 BOM。哪怕多一个 \r,std::stoll 解析就会失败,程序可能静默回退到 0 偏移重传。写 offset 文件时用 fprintf(fp, "%lld", offset),读时用 fgets + std::stoll,别图省事用 operator>> —— 它对格式异常不敏感,容易放过脏数据。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

相关专题

更多
fgets在c语言中的用法
fgets在c语言中的用法

本专题整合了c语言中fgets用法介绍,阅读专题下面的文章了解更多详细内容。

153

2025.08.27

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4258

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

1189

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

403

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

559

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

389

2026.02.06

C++多线程并发控制与线程安全设计实践
C++多线程并发控制与线程安全设计实践

本专题围绕 C++ 在高性能系统开发中的并发控制技术展开,系统讲解多线程编程模型与线程安全设计方法。内容包括互斥锁、读写锁、条件变量、原子操作以及线程池实现机制,同时结合实际案例分析并发竞争、死锁避免与性能优化策略。通过实践讲解,帮助开发者掌握构建稳定高效并发系统的关键技术。

233

2026.03.16

Java 多线程与并发编程实战
Java 多线程与并发编程实战

深入讲解 Java 并发编程体系,涵盖 Thread / Runnable / Callable 线程创建方式、线程生命周期与状态转换、synchronized 同步锁与 Lock/ReentrantLock 显式锁、volatile 可见性保证、ThreadPool 线程池配置与调优(核心参数/拒绝策略)、JUC 并发工具类(CountDownLatch/CyclicBarrier/Semaphore/ConcurrentHashMa

349

2026.04.17

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn