直接用fopen+fwrite合并分片会出错，因为fwrite非原子操作且FILE*内部缓冲区非线程安全，共享文件偏移易导致数据覆盖；应改用pwrite实现无锁按偏移写入，并用std::barrier或原子计数确保所有分片写完再关闭文件。
为什么直接用 fopen + fwrite 合并分片会出错
多线程并发写同一个文件句柄，fwrite 不是原子操作，且文件偏移（ftell/fseek）在多个线程间共享，极易导致数据覆盖或错位。即使每个线程写不同偏移，C 标准库的 FILE* 内部缓冲区也非线程安全——setvbuf 无法解决根本问题。
- 典型现象：
Segmentation fault或合并后文件校验失败（如sha256sum不匹配） - 根本原因：FILE* 的内部状态（如缓冲区指针、锁）未对多线程做同步设计
- 替代思路：绕过 stdio 缓冲层，用系统调用直接控制文件偏移和写入
用 pwrite 实现无锁分片写入
pwrite 是 POSIX 提供的“带偏移的原子写”，它不改变文件当前偏移量，也不依赖 FILE*，天然适合多线程按位置写入分片内容。Linux/macOS 均支持，Windows 可用 _pwrite（需 _O_BINARY 打开）或 WriteFile + SetFilePointerEx 模拟。
- 打开文件必须用
O_WRONLY | O_CREAT | O_TRUNC（Linux）或_O_WRONLY | _O_CREAT | _O_TRUNC（Windows），避免已有内容干扰 - 每个线程计算自己负责的偏移：
offset = shard_start_byte，传给pwrite(fd, buf, size, offset) - 务必检查返回值：
pwrite成功时返回写入字节数，失败返回 -1 并设置errno - 示例片段：
ssize_t written = pwrite(fd, shard_data, shard_size, shard_offset);<br>if (written != (ssize_t)shard_size) { /* 处理错误 */ }
如何保证所有分片写完再关闭文件
不能靠“最后一个线程 close”，因为线程完成顺序不确定；也不能简单用 std::thread::join，因为分片数量可能动态变化。推荐用 std::atomic_int 计数 + 条件变量，或更轻量的 std::barrier（C++20）。
组合式C++代码评审方案，融合静态分析、AI推理、多轮迭代评审和C++专项检查，适用于PR审查、增量代码审查、全项目评审和代码质量评分，触发词包括review cpp、cpp代码评审、C++review、代码审查。
-
std::barrier最简洁：std::barrier sync_barrier(num_shards);<br>// 每个线程写完后调用<br>sync_barrier.arrive_and_wait();<br>// 此处所有线程已写完，可 close(fd) 或做校验
- 若用 C++17 或更低版本，用
std::atomic_int counter+std::mutex+std::condition_variable，但注意避免虚假唤醒 - 关键点：
close(fd)必须在所有pwrite完成后执行，否则可能截断未写入区域
分片元信息怎么存才可靠
不能只靠文件名排序（如 part_001.bin），因为文件系统不保证 readdir 顺序；也不能依赖内存中临时结构，进程崩溃就丢失。最稳妥的是把元信息固化到一个独立 manifest 文件里，格式用纯文本或 JSON。
立即学习“C++免费学习笔记（深入）”；
- manifest 至少包含：
total_size、每个分片的filename、offset、size - 写 manifest 必须在所有分片写入成功后、且
fsync(fd)刷盘之后进行，否则可能 manifest 已写但分片没落盘 - 读取时先验证 manifest 完整性（如 CRC32 校验），再逐项校验各分片文件是否存在、大小是否匹配
- 示例 manifest 行格式：
part_001.bin 0 1048576（文件名、起始偏移、大小）
实际部署时，pwrite 的性能瓶颈往往不在系统调用本身，而在磁盘 I/O 调度和页缓存竞争。如果分片数量远大于 CPU 核心数，建议限制并发线程数（如 std::min(num_shards, hardware_concurrency())），避免过度上下文切换。另外，posix_fadvise(fd, offset, len, POSIX_FADV_DONTNEED) 在写完后及时释放缓存，能缓解内存压力。
