用 os.ReadDir 替代 filepath.Walk 可显著提升百万级文件遍历性能，因其仅读元信息、支持过滤与并发控制，并配合 sync.Map 或分片 map、io.CopyN 抽样哈希、mmap 流式解析等优化手段实现高效聚合。
如何用 os.ReadDir 替代 filepath.Walk 提升大目录遍历性能
对百万级文件做聚合前，遍历本身就会成为瓶颈。filepath.Walk 是递归式深度优先，每进一个子目录都触发系统调用，且无法控制并发或提前过滤；而 os.ReadDir（Go 1.16+）返回 []fs.DirEntry，只读目录元信息、不触发 stat，配合手动递归或 goroutine 池能显著提速。
- 用
os.ReadDir+ 队列（如chan string）实现广度优先遍历，避免栈溢出和路径过深导致的延迟 - 在读取目录时立即用
entry.IsDir()和strings.HasSuffix(entry.Name(), ".log")过滤，跳过无关子目录和文件，减少后续处理量 - 避免在遍历循环里调用
os.Stat——DirEntry的Type()和Info()（按需调用）已足够判断类型和大小
聚合阶段必须用 sync.Map 或分片 map 避免写冲突
当多个 goroutine 同时统计文件后缀、大小区间、修改时间分布时，直接写入全局 map[string]int 会 panic：「concurrent map writes」。Go 原生 map 不是线程安全的，但也不是所有场景都适合上 sync.Mutex——锁粒度过大会拖垮吞吐。
- 高频键（如后缀名
".go"、".mod"）用sync.Map，它对读多写少场景优化明显，且避免了锁竞争 - 低频键（如自定义标签、用户指定的路径前缀匹配结果）可划分为
[8]map[string]int分片，哈希键名取模选择分片，写前加sync.RWMutex锁对应分片 - 别在聚合循环里格式化时间或拼接路径——先存
int64时间戳、uint64文件大小，聚合完再转，减少临时对象分配
io.CopyN + hash.Hash 实现快速文件指纹抽样
全量计算每个文件的 sha256 不现实，但完全跳过又可能漏掉重复内容。折中方案是固定读头尾各 4KB（共 8KB），用 io.CopyN 精确截取，再喂给 sha256.New()——既能识别大部分复制/备份文件，又把 I/O 控制在毫秒级。
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
- 用
os.Open打开文件后，先f.Seek(0, io.SeekStart)，io.CopyN(hasher, f, 4096)读头部；再f.Seek(-4096, io.SeekEnd)（注意检查文件是否小于 4KB），再io.CopyN读尾部 - 对空文件或小于 8KB 的文件，直接用完整内容哈希，避免
Seek失败后忽略 - 指纹结果存为
[32]byte而非string，插入map[[32]byte]int统计重复数，省去字符串转换开销
内存超限？用 mmap 替代 os.ReadFile 解析大 JSON/CSV
当分析目标包含大量日志 JSON 或导出 CSV（单文件几百 MB），os.ReadFile 会把整个文件加载进内存，极易触发 OOM。此时应改用 syscall.Mmap（Unix）或 golang.org/x/sys/windows（Windows）做内存映射，配合流式解析器逐块处理。
立即学习“go语言免费学习笔记（深入）”；
- Linux/macOS 下用
syscall.Mmap(int(f.Fd()), 0, int(size), syscall.PROT_READ, syscall.MAP_PRIVATE)获取 []byte 视图，无需拷贝 - 对 JSON，用
jsoniter.ConfigCompatibleWithStandardLibrary的Decoder直接解码 mmap 切片，跳过中间bytes.Buffer - 对 CSV，用
encoding/csv.NewReader(strings.NewReader(string(chunk)))会分配新字符串——应改用csv.NewReader(bytes.NewReader(mmapSlice[off:off+chunkSize]))复用底层数组
真正卡住的不是代码逻辑，而是 mmap 后忘记 syscall.Munmap（尤其在 error path 中），或对小文件滥用 mmap 反而增加系统调用开销。实际使用时建议加 size 阈值（如 >10MB）再启用 mmap。
