优先用filepath.WalkDir而非filepath.Walk，因其不强制stat、支持精准跳过子目录、能显式处理符号链接和权限错误；filepath.Walk易静默终止、不支持可控跳过且性能较差。
filepath.Walk 不能直接并发，强行 goroutine 包裹会崩溃
直接对每个子目录起 goroutine 调用 filepath.Walk 是常见误区。它内部依赖系统调用栈和文件描述符，无节制并发会导致 too many open files、栈溢出或 invalid argument 错误——尤其在 /proc、/sys 或挂载的 NFS 上。
- 每个
filepath.Walk实例都需独立打开并遍历目录句柄，资源不共享也不复用 - 递归深度不可控时（如软链环路），goroutine 数量指数级增长，调度器迅速失衡
-
filepath.Walk本身不是并发安全的，多个实例同时访问同一os.File句柄可能 panic
用 filepath.WalkDir + worker pool 控制并发粒度
真正可行的异步扫描是「单线程遍历路径树 + 多协程处理文件内容」，即：用 filepath.WalkDir 同步收集所有目标文件路径，再投递给固定数量的 worker 协程处理（如读取、匹配、解析）。
-
filepath.WalkDir返回路径快、内存低，且支持filepath.SkipDir过滤（比如跳过.git、node_modules） - 把路径通道（
chan string）设为缓冲通道，容量建议 ≤ 1024，避免内存积压 - worker 数量别超过 CPU 核心数 × 2；IO 密集型任务（如读文件）可稍多，CPU 密集型（如解密、解析 XML）必须严格限制
- 示例关键片段：
err := filepath.WalkDir(root, func(path string, d fs.DirEntry, err error) error { if err != nil { if errors.Is(err, os.ErrPermission) { return nil } return err } if !d.IsDir() && strings.HasSuffix(d.Name(), ".log") { paths <- path // 投递到通道 } if d.IsDir() && (d.Name() == "temp" || d.Name() == "cache") { return filepath.SkipDir } return nil })
os.ReadDir + 手动两层循环更适合“浅层高并发”场景
如果你只扫当前目录 + 一级子目录（比如监控日志目录下的 daily/ 和 hourly/），用 os.ReadDir 显式两层循环比 WalkDir 更轻、更可控，也更容易并行。
Golang Uber Dig
下载
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
- 第一层读
root，对每个子目录启动一个 goroutine；每个 goroutine 内部用os.ReadDir读其内容，不递归 - 这样最大并发数 = 一级子目录数量，天然有界，不会爆炸
- 注意：每个 goroutine 必须单独 defer close 文件句柄，否则 fd 泄漏
- 路径拼接必须用
filepath.Join，硬拼dir + "/" + name在 Windows 下失效
权限错误和 symlink 循环必须显式防御
大规模扫描时，/proc、/sys、容器挂载点、用户 home 目录下的软链都是雷区。默认行为不足以应对。
立即学习“go语言免费学习笔记（深入）”；
-
os.ErrPermission出现时，filepath.WalkDir不会自动跳过后续路径——你必须在回调里return nil，否则整个遍历终止 - 想跟随 symlink？
filepath.WalkDir不自动展开，需手动判断d.Type() & os.ModeSymlink != 0，再用os.Readlink+filepath.Join构造新路径；但必须维护已访问路径集合（map[string]bool）防循环 - 深度限制建议加在闭包里：
depth := 0; return func(...) error { if depth > 5 { return filepath.SkipDir }; depth++ }，避免陷入/proc/self/fd类路径
实际跑通的关键不在“怎么快”，而在“怎么不崩”。路径过滤、错误返回值语义、fd 管理、symlink 防环——这些细节漏掉任意一项，程序在真实环境里撑不过 10 秒。
