不能直接用std::vector一次性读大文件做EC编码，因内存不足易OOM；须流式分块处理，每块独立编码、可并行，补零位置记入元数据，优先用liberasurecode，输出直写分布式存储并最后写元数据。
为什么不能直接用 std::vector<char></char> 一次性读大文件做 EC 编码
因为内存扛不住。一个 10GB 文件在内存里展开成原始字节数组，编码时还要额外存 k 个数据块 + m 个校验块（比如 k=10, m=4 就要约 14GB 内存），实际运行大概率触发 OOM 或严重 swap。分布式场景下，节点内存更受限，必须流式分块处理。
关键不是“能不能编”，而是“怎么让每块编码独立、可并行、不跨 chunk 依赖”：
- 原始文件必须按固定大小切片（如
chunk_size = 1024 * 1024字节），最后一块补零对齐 - 每个切片单独送入 EC 编码器（如 Cauchy Reed-Solomon），输出
k+m个等长块 - 编码器本身不能有全局状态（如累计哈希、跨块线性变换），否则无法水平扩展
- 补零位置需记录在元数据中（如
original_size字段），解码时才能截断还原
选 liberasurecode 还是手写 jerasure 绑定
liberasurecode 是 OpenStack Swift 用的 C 库，C++ 调用干净，但默认只支持 isa_l_rs_vand 和 shss 等几种后端，对 ARM 或旧内核兼容性差；jerasure 更底层、参数灵活（比如能指定 GF(2^8) 还是 GF(2^16)），但 C++ 封装容易出 double free —— 它的 jerasure_matrix_encode() 要求调用方自己 malloc 所有 data/parity buffers，且不管理生命周期。
实操建议：
立即学习“C++免费学习笔记（深入）”；
- 优先用
liberasurecode的ec_encode()，它内部做 buffer 管理，传入struct ec_args即可，错误码统一为EC_BACKEND_ERR - 若需更高吞吐（如 NVMe 直通场景），改用
isa-l的isa_l_rs_vand_encode()，它支持 AVX512 加速，但要求输入 buffer 按 64 字节对齐，未对齐会静默降级到 SSE 版本 - 绝对不要在多线程中复用同一个
jerasure编码上下文（g_tbls全局表非线程安全）
如何让分块编码结果直接写入分布式存储（如 Ceph Rados、MinIO）
不能先写本地临时文件再上传——这引入冗余 IO 和单点失败风险。正确做法是编码输出直连对象存储的 streaming write 接口。
以 Rados C++ API 为例：
- 每个 EC 块（data_0 ~ data_{k-1}, parity_0 ~ parity_{m-1}）生成唯一 object name，格式如
{file_id}.chunk_{seq:08d}.{type}_{idx}（例：abc123.chunk_00000001.data_3） - 用
Rados::ioctx_write_full()写入，它原子覆盖整个 object，避免部分写失败导致脏数据 - 所有块写完后，再写一个 metadata object（如
abc123.meta），包含k,m,chunk_size,original_size, 各块的etag（MD5 或 SHA256）用于校验 - 注意：Rados 默认不保证跨 object 写入的原子性，metadata 必须最后写，且 client 需实现幂等重试逻辑（比如检查
abc123.meta是否已存在）
常见崩溃点：对齐、符号扩展、GF 域误配
这些错误不会立刻报 segfault，但会导致解码后文件内容错乱，且难以定位。
-
isa-l的rs_vand_encode()要求所有 input buffers 地址 & length 都是 32 字节倍数，否则在某些 CPU 上返回-EINVAL而不是自动对齐 - 读取文件用
uint8_t*，但若误用char*在有符号平台（如 x86_64 Linux）上做 GF 运算，负值会被符号扩展，导致乘法表查错 -
k=12, m=4配置下用了cauchy_256后端，但没确认该后端是否支持 >256 总块数（它只支持最多 256 个块，超限会越界写入栈） - 忘记设置
setvbuf(stdout, nullptr, _IONBF, 0)，导致日志缓冲延迟，在 crash 前看不到关键 debug 输出
真正棘手的是 GF 域参数和块序号的耦合——比如 jerasure 的 cauchy_original_coding_matrix() 返回矩阵，其行列索引必须和你分配的 data/parity buffer 顺序严格一致，错一位，整个校验块就全废。
