本文介绍一种基于 sync.waitgroup 和非阻塞通道操作的优雅方案，解决“工作者可动态生成新任务、且所有工作者空闲时自动退出”的并发调度问题，避免竞态、死锁与缓冲区大小依赖。
在构建爬虫、图遍历、并行任务分发等场景中，常需一个能自增长、自收敛的工作者池：初始一批任务入队，每个工作者处理任务时可能产生若干新任务，这些新任务需被及时分发；而当所有工作者均空闲、且任务队列为空时，整个系统应安全终止——既不能遗漏任务，也不能因等待而永久挂起。
Go 标准库中的 sync.WaitGroup 是管理动态任务生命周期的理想工具。它不依赖计时器或轮询，而是通过原子增减计数精准反映“当前活跃任务数”。结合非阻塞发送（select + default），我们能让工作者在无法立即入队新任务时，主动降级为“本地递归执行”，从而彻底规避通道阻塞和死锁风险。
以下是核心实现模式：
package main
import "sync"
const workers = 4
type job struct{ url string }
func (j *job) do(enqueue func(job)) {
// 模拟处理：解析页面，发现新 URL
println("Processing:", j.url)
// 示例：生成 2 个子任务（实际中来自 HTML 解析）
if j.url == "https://example.com/root" {
enqueue(job{url: "https://example.com/a"})
enqueue(job{url: "https://example.com/b"})
}
}
func main() {
jobs := make(chan job, 100) // 缓冲通道提升吞吐，但大小非关键
var wg sync.WaitGroup
var enqueue func(job)
// 启动固定数量工作者
for i := 0; i < workers; i++ {
go func() {
for j := range jobs {
j.do(enqueue)
wg.Done()
}
}()
}
// 安全的入队函数：带回退机制
enqueue = func(j job) {
wg.Add(1) // 立即声明新任务开始
select {
case jobs <- j: // 有空闲工作者，直接投递
default: // 通道满或无接收者（如已关闭）→ 本线程同步执行
j.do(enqueue)
wg.Done()
}
}
// 提交初始任务
enqueue(job{url: "https://example.com/root"})
// 等待所有任务完成（包括递归生成的）
wg.Wait()
close(jobs) // 关闭通道，通知工作者退出
}关键设计要点说明：
- ✅ wg.Add(1) 在 select 前调用：确保即使进入 default 分支，wg.Done() 也能正确配对，避免计数错乱；
- ✅ 非阻塞发送是安全回退的基础：当通道暂时无法接收（满或已关闭），任务立即由当前 goroutine 执行，保证进度不卡顿；
- ✅ wg.Wait() 隐含“零活跃任务”语义：只要 Add/Done 配对严谨，Wait() 返回即代表全部任务终结，无需额外状态机或信号量；
- ⚠️ 缓冲通道大小仅为性能优化：设为 100 是为了减少 default 分支触发频率，但即使设为 0（无缓冲），逻辑依然正确——只是更多任务走本地执行路径；
- ? 避免常见陷阱：
- 不在 do() 中直接向 jobs 写入（易导致死锁）；
- 不用 len(queue) 判断空闲（竞态且不可靠）；
- 不依赖 close(jobs) 触发退出条件（工作者需在 range 结束后自行退出，wg.Wait() 才是终止权威）。
该模式兼具简洁性与鲁棒性：它将“任务调度”与“生命周期管理”解耦，用标准库原语达成动态递归调度，适用于从单机多核任务到中等规模网络爬取的多种场景。如需扩展（如限速、去重、错误重试），只需在 do() 或 enqueue 封装层增强，核心调度骨架无需改动。
