filepath.WalkDir 是 Go 1.16+ 推荐的大规模目录遍历方案，性能提升2–5倍，避免os.FileInfo开销，使用fs.DirEntry和entry.IsDir()判断，支持主动跳过子目录，且默认不跟随符号链接。
用 filepath.WalkDir 替代 filepath.Walk
Go 1.16+ 引入的 filepath.WalkDir 是专为大规模目录设计的替代方案，它避免了为每个文件创建 os.FileInfo（含系统调用开销），直接暴露 fs.DirEntry——轻量、不触发 stat，性能提升常达 2–5 倍。
- 默认跳过符号链接（
filepath.Walk会跟随，可能引发循环或权限错误） - 若需判断是否为目录，用
entry.IsDir()，不是entry.Type().IsDir()（后者在某些文件系统下不可靠） - 不要在回调中对
entry.Name()做路径拼接再调用os.Stat——这等于退回低效模式
err := filepath.WalkDir("/huge/dir", func(path string, entry fs.DirEntry, err error) error {
if err != nil {
return err
}
if entry.IsDir() && entry.Name() == "node_modules" {
return filepath.SkipDir // 主动跳过，减少遍历量
}
if !entry.IsDir() && strings.HasSuffix(entry.Name(), ".log") {
// 处理文件，path 是完整路径，entry.Name() 是 basename
}
return nil
})
提前过滤 + 并发控制别乱加 goroutine
盲目起 goroutine 对 I/O 密集型目录遍历几乎没用，反而因调度开销和系统句柄竞争拖慢整体速度。真正有效的并发是「分片后由多个 worker 分别 Walk」，但前提是目录结构可预划分（如按首字母分桶），否则得先扫描一遍——得不偿失。
- 优先用
filepath.WalkDir内置的路径匹配逻辑过滤：比如只关心*.go或**/testdata/**，用strings或path/filepath判断比起 goroutine 更稳 - 如果必须并发处理文件内容（如读取并解析），等
WalkDir完成后把路径切片分给 worker，而非边遍历边发 channel - Linux 下单次
openat+getdents64系统调用能批量读取数十个目录项，过度拆解反而打断这个批处理优势
io/fs.ReadDir 适合已知子目录、不递归场景
如果你只是要读一个「已知深度、无嵌套」的大目录（比如日志归档根目录下几百万个 2024-01-01.log 文件），os.ReadDir（底层即 io/fs.ReadDir）比 WalkDir 更轻——它不递归，也不走路径匹配逻辑，纯读当前层。
- 返回
[]fs.DirEntry，和WalkDir的回调参数类型一致，复用判断逻辑 - 注意：它不保证顺序，也不过滤
./..，需手动跳过：if entry.Name() == "." || entry.Name() == ".." { continue } - 内存占用略高（一次性加载全部条目），但对单层数百万文件，实测比
WalkDir快 10%–20%，因为省掉路径拼接和递归栈管理
entries, err := os.ReadDir("/logs")
if err != nil {
log.Fatal(err)
}
for _, entry := range entries {
if entry.Name() == "." || entry.Name() == ".." {
continue
}
if strings.HasSuffix(entry.Name(), ".log") && entry.Type().IsRegular() {
// 处理
}
}
注意 ext4/xfs 的 readdir 性能差异和 readdir 缓存失效
Linux 上，ext4 对超大目录（>100 万文件）的 readdir 性能会断崖式下降，尤其当目录未开启 dir_index 特性；xfs 则原生支持 B+ 树索引，表现稳定。这不是 Go 能解决的问题，但你得知道瓶颈在哪。
立即学习“go语言免费学习笔记（深入）”；
- 检查 ext4 目录是否启用索引：
debugfs -R "stat /path/to/dir" /dev/sdX | grep dir_index，没启用就重格式化或用tune2fs -O dir_index（需先e2fsck） - 避免在遍历中频繁修改同一目录（新建/删除文件），会导致内核
readdir缓存失效，每次从头 scan - Go 进程若被
SIGSTOP暂停太久，恢复后继续WalkDir可能遇到stale file handle错误——这不是代码 bug，是 Linux VFS 层限制
真正卡住的时候，先 strace -e trace=getdents64,openat 看系统调用耗时分布，再决定是调优文件系统还是改代码逻辑。
