go-car生成CAR文件需先切块再哈希构建IPLD DAG，禁用os.ReadFile整读；用go-car/v2的CarWriter流式写入，设分块大小256KB–1MB，开启索引以支持O(1)定位。
用 go-car 生成 CAR 文件，别直接存原始大文件
内容寻址的核心是“哈希即地址”，但直接对 GB 级文件调用 sha256.Sum256 会卡死、OOM 或超时。正确路径是：先把大文件切块 → 每块单独哈希 → 构建 IPLD DAG → 打包成 CAR 归档。而 go-car 就是干这个的，它不碰原始文件内容，只处理已结构化的 IPLD 节点流。
常见错误是试图用 os.ReadFile 把整个视频/日志读进内存再哈希——这在生产环境必然失败。CARv2 支持流式写入和分块索引，go-car/v2 的 CarWriter 可以边读边写，配合 io.Pipe 或 mmap.Open 实现零拷贝分块。
- 必须用
go-car/v2（不是 v1），CARv2 原生支持大文件随机访问和增量写入 - 切块大小建议设为 256KB–1MB：
car.NewCarWriter(car.WriteAsCarV2, car.WithMaxSectionSize(1024*1024)) - 不要自己实现哈希逻辑，用
github.com/ipld/go-ipld-prime的traversal.Progress驱动分块与 CID 生成 - CAR 文件本身不加密，敏感内容需在写入前用
golang.org/x/crypto/chacha20poly1305加密单块
diskv 不适合内容寻址，但可作 CAR 文件的本地索引缓存
diskv 是路径映射型键值存储，它的 Transform 函数按 key 决定落盘路径，天然不匹配内容寻址的“哈希→数据”单向映射。拿它存原始文件或 CID 映射表，会丢失 IPLD 链式关系，也无法验证完整性。
但它可以高效缓存 CAR 文件元信息：比如把 CIDv1 作为 key，value 存对应 CAR 文件的本地路径、大小、最后修改时间、块数统计等。这样查某个 CID 是否本地存在、是否完整，只要一次 d.Read(cid.String())，比遍历目录快两个数量级。
立即学习“go语言免费学习笔记（深入）”；
- 初始化时设
CacheSizeMax至少 16MB，避免频繁磁盘查找 - key 建议用
cid.String()（非cid.Bytes()），便于调试和 CLI 工具交互 - 不要用
diskv存实际数据块，CAR 文件本体仍应放在独立目录（如/data/cars/）并由系统管理 - 删除操作要同步：
d.Erase(cid.String())后必须os.Remove(carPath)，否则索引与文件脱节
IPFS API 的 /add 接口不接受超大文件，得走流式分块上传
直接 POST 一个 2GB 文件到 http://127.0.0.1:5001/api/v0/add 会触发 IPFS daemon 的默认限制（通常 100MB），返回 413 Request Entity Too Large。这不是 Go 客户端的问题，而是 Kubo 的 HTTP handler 层硬限制。
绕过方法是手动分块 + 多次 /block/put + 最后用 /dag/put 组装根节点。但更稳的方案是复用 IPFS 的内部流式逻辑：用 go-ipfs-files 包构造 files.Node，再通过 coreiface.Add 接口传入 options.Unwrap 和 options.Pin 控制行为。
- 禁用自动封装（
options.WrapWithDirectory(false)），否则会在顶层多套一层目录 DAG，浪费哈希计算 - 显式指定
options.CidVersion(1)，CIDv1 兼容性更好，且 base32 编码长度可控 - 上传后立刻调用
ipfs.Block.Get校验首块，防止网络中断导致静默失败 - 别依赖
/api/v0/add?stream-channels=true，该参数在 Kubo v0.30+ 已标记 deprecated
大文件内容寻址的真正瓶颈不在 Go，而在存储层的块定位与验证
很多人花大量时间优化 Go 的哈希速度（比如换 crypto/sha256 为 golang.org/x/crypto/sha3），但实测发现：90% 的延迟来自磁盘随机读取块、校验链式引用、重建 DAG 路径。尤其当 CAR 文件被 mmap 到内存后，CPU 哈希只占总耗时不到 8%。
所以重点该放在：如何让块加载更快、验证更轻、跳转更准。CARv2 的索引区（index section）就是为此设计的——它允许你用 O(1) 时间定位任意 CID 对应的偏移量，无需解析整个 CAR header。而 go-car 的 IndexReader 就是读这个的。
- 生成 CAR 时务必开启索引：
car.WithIndex，否则后续cat或ls操作要全文件扫描 - 用
mmap打开 CAR 文件后，IndexReader可直接在内存中二分查找，比os.Seek快 10x+ - 验证环节可跳过全部块内容哈希，只校验 CAR header 中的 root CID 与 index CRC32 —— 这适用于可信来源的离线场景
- 别忽略
filepath.WalkDir的权限控制：CAR 文件目录若混有.git或临时文件，会导致os.Stat失败中断，必须显式filepath.SkipDir
