优先用 os.ReadDir 替代 filepath.WalkDir 以避免冗余 stat 调用；仅需路径名或目录判断时用 entry.Name() 和 entry.IsDir()；递归需手动维护栈；注意 Go 1.16+ 要求及符号链接兼容性；并发扫描须限流，按子树粒度控制 goroutine 数量。
用 os.ReadDir 替代 filepath.WalkDir 减少 stat 开销
如果你只关心路径名或是否为目录，filepath.WalkDir 会为每个条目自动调用 os.Stat，哪怕你根本不需要文件大小、修改时间等元数据——这在百万级小文件场景下直接拖垮性能。os.ReadDir 一次性读取目录项（不含元数据），返回 fs.DirEntry 列表，后续仅需时再调 entry.Info()。
常见错误是循环里反复写 entry.Info()，其实只要判断目录就用 entry.IsDir()，取名字就用 entry.Name()，完全避开系统调用。
- 递归遍历时需手动维护栈或队列，别直接套递归函数，否则深度大时易爆栈
-
os.ReadDir不处理符号链接和权限拒绝等边界，filepath.WalkDir更鲁棒；若需兼容性，只在纯本地可信路径下换用os.ReadDir - 注意：Go 1.16+ 才支持
os.ReadDir，低于此版本无法使用
并发扫描必须限流，别无脑起 goroutine
并发不是越多越快。盲目对每个子目录起一个 goroutine，很快触发 too many open files 或内核调度抖动，实际吞吐反而下降。
关键控制点是“并发粒度”：让每个 goroutine 处理一个子树（比如某个二级子目录），而不是单个文件；用带缓冲的 channel 做信号量，例如 sem := make(chan struct{}, 8)，进前 sem ，退后 <code><-sem。
立即学习“go语言免费学习笔记（深入）”；
Go 配置库，使用 spf13/viper — 分层优先级（flag > env >file > KV > default），提供 BindPFlag/BindPFlags、SetEnvPrefix + SetEnvKeyReplace 等功能。
- 别设
runtime.GOMAXPROCS超过物理核数——磁盘 I/O 是阻塞型，CPU 不是瓶颈 - 避免在循环里新建 goroutine 并立即
go func() { ... }()，没加等待或回收机制极易泄漏 - 文件描述符耗尽时，
os.Open报错是syscall.EMFILE，不是os.ErrNotExist，需单独捕获处理
提前过滤路径和文件类型，别等读进来再筛
把 "node_modules"、".git" 这类固定忽略名存成 map，查表是 O(1)；比每次调 strings.Contains(path, "node_modules") 快得多，也比正则安全。
正则只在真正需要模糊匹配时用，且必须复用已编译实例：r, _ := regexp.Compile(`\.log$`) 提到循环外，否则每轮重编译会让性能断崖下跌。
- 路径匹配优先用
filepath.Base+ map 查找，而非filepath.Match（后者内部用正则） - 忽略规则组合时，先做字符串前缀/后缀判断，再进正则——能挡掉 90% 的条目，正则只扫剩下的
- 注意 Windows 路径分隔符是
\，但 Go 标准库统一转为/，所以 map key 统一用正斜杠即可
大文件内容搜索必须流式处理，别碰 os.ReadFile
os.ReadFile 会把整个文件加载进内存，搜一个 2GB 日志文件直接 OOM。真实需求是“边读边判”，不是“全读完再搜”。
用 os.Open + bufio.Scanner 是默认安全选择，但得调 scanner.Buffer 防超长行 panic；若需更高吞吐或随机访问（如只读文件头 magic bytes），才考虑 syscall.Mmap（Unix）或 golang.org/x/sys/windows.CreateFileMapping（Windows）。
- Scanner 默认单行上限 64KB，遇到日志中堆栈跟踪等超长行会报
scanner: token too long - 要定位行号，别用
strings.Count(content, "\n")，而是每scanner.Scan()后计数器自增 - UTF-8 安全，但 GBK/ISO-8859-1 编码文件需先转码，
os.Open只读字节流，不自动解码
最常被忽略的点是：性能瓶颈往往不在 Go 代码逻辑，而在系统层——inode 消耗、dentry 缓存未命中、page cache 淘汰策略。优化前先用 strace -e trace=openat,stat,fstat 看真实系统调用频次，比猜更有用。
