filepath.Walk在小文件多时特别慢，因其对每个文件隐式调用os.Stat，导致海量系统调用开销；而os.ReadDir返回的fs.DirEntry支持零开销Name()和IsDir()，大幅降低I/O压力。
用 os.ReadDir + 手动递归，别碰 filepath.Walk —— 它对每个文件都隐式调用 os.Stat，在海量小文件场景下性能直接腰斩。
为什么 filepath.Walk 在小文件多时特别慢
filepath.Walk 内部对每个路径都执行 os.Stat，哪怕你只关心文件名。一次 os.Stat 就是一次系统调用，在 Linux 上开销不大，但在 Windows 或 NFS 环境下延迟明显；更关键的是，10 万个文件 = 10 万次系统调用，调度、上下文切换、内核态/用户态跳转全堆在一起。
而 os.ReadDir（Go 1.16+）返回的 fs.DirEntry 已包含 Name() 和 IsDir()，这两个方法零开销 —— 不触发额外系统调用，数据来自目录读取本身。
- 常见错误现象：遍历含 50 万个小文件的
node_modules目录，filepath.Walk耗时 8s，os.ReadDir递归仅 3.2s - 如果你真需要文件大小或修改时间，只对筛选后的目标文件显式调用
os.Stat(path)，而不是全量扫 -
filepath.WalkDir虽比Walk好，但它仍需拼接完整路径传入回调，而手动递归可复用父路径字符串，减少filepath.Join开销
手动递归时怎么避免路径拼接成为瓶颈
每层递归都用 filepath.Join(parent, name) 看似安全，但内部会做路径分隔符标准化、清理 ./..、切分再重组 —— 在每层几百个子项的目录里，这部分字符串操作会吃掉可观 CPU。
立即学习“go语言免费学习笔记（深入）”；
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
更轻量的做法是：用 strings.Builder 缓存当前路径，追加 filepath.Separator 和子名。注意两点：
- 提前用
filepath.Clean(root)得到规范根路径，后续所有拼接都基于它 - Windows 下
filepath.Separator是'\'，Linux/macOS 是'/'，strings.Builder追加时必须用这个常量，不能硬写"/" - 若确定输入是绝对路径且无符号链接，可跳过
filepath.Clean，直接拼接（省掉正则和切片开销）
并发读目录反而更慢？什么时候该上 goroutine
纯路径遍历本身不适合并发 —— os.ReadDir 是系统调用，goroutine 调度器无法加速磁盘 I/O，反而因抢占、上下文切换和文件句柄竞争拖慢整体速度。实测在单块 SATA SSD 上，并发 4 协程读同一目录，比单协程慢 15%～20%。
真正值得并发的环节是「路径获取后的内容处理」，比如计算哈希、解析 JSON、提取文本特征：
- 生产者：单协程递归调用
os.ReadDir，把符合条件的path发到chan string - 消费者：固定数量 worker（通常 4–8 个），从 channel 拿路径，做 CPU 密集型任务
- 务必限制 channel buffer 大小（如
make(chan string, 1000)），否则内存爆掉 - 注意
os.File句柄数限制，默认 ulimit -n 1024，worker 数 × 平均打开文件数不能超限
容易被忽略的终止条件与循环防护
海量小文件目录往往混着 /proc、/sys 或用户自建的软链接环路，os.ReadDir 本身不防这些，靠你兜底：
- 递归深度计数器必须有，比如超过 32 层就
return（防止栈溢出或无限遍历） - 软链接检测：对
entry.Type() & os.ModeSymlink != 0的条目，用os.Readlink解析后检查是否已访问过（用map[string]bool记录已解析的绝对路径） -
os.ErrPermission不能 panic，要记录并跳过；os.IsNotExist(err)可能是竞态导致的文件被删，也应忽略而非中断 - Windows 长路径（>260 字符）需确保程序 manifest 启用 long path 支持，否则
os.ReadDir返回ERROR_INVALID_NAME，不是权限问题
最耗时的从来不是算法，而是某次没检查的 err、一层多余的 filepath.Join、或忘了关 Windows 的 8.3 短文件名生成。跑之前先用 go tool trace 看一眼阻塞点，比调参数快得多。
