本文介绍一种基于 `sync.waitgroup` 和非阻塞通道发送的 go 工作池模式，用于处理可递归生成新任务的场景（如网页爬虫），避免死锁与竞态，确保所有 worker 协同启停。
在构建并发任务系统时，一个常见但棘手的需求是：任务本身可能动态产生新任务（例如解析网页后发现更多待抓取 URL），而工作协程（worker）需在“无任务可做且无人生产新任务”时自动退出，实现整体生命周期的可控收敛。传统固定缓冲队列 + 计数器方式（如问题中所示）易引入竞态、逻辑耦合度高，且难以准确判断“全局空闲”状态。
更健壮的解法是将任务生命周期与执行权绑定：用 sync.WaitGroup 统一追踪待处理任务总数，而非依赖 worker 状态轮询；同时，通过非阻塞 select 实现“投递优先，本地兜底”的任务分发策略——既避免 channel 写入阻塞导致死锁，又消除对预设缓冲区大小的强依赖。
以下是核心实现：
Golang Uber Dig
下载
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
package main
import (
"sync"
)
const workers = 4
type job struct {
url string
}
func (j *job) do(enqueue func(job)) {
// 模拟实际工作：下载并解析页面
// 若发现新 URL，则调用 enqueue 递归提交
// 示例：
// if j.url == "https://example.com" {
// enqueue(job{url: "https://example.com/page1"})
// enqueue(job{url: "https://example.com/page2"})
// }
}
func main() {
jobs := make(chan job, 100) // 可选小缓冲，缓解突发投递压力
wg := &sync.WaitGroup{}
var enqueue func(job)
// 启动 worker 池
for i := 0; i < workers; i++ {
go func() {
for j := range jobs {
j.do(enqueue)
wg.Done()
}
}()
}
// 安全的任务入队函数（闭包捕获 wg 和 jobs）
enqueue = func(j job) {
wg.Add(1) // 声明：即将新增一个待完成任务
select {
case jobs <- j:
// 成功投递至通道，由空闲 worker 处理
default:
// 通道满或无空闲 worker → 当前 goroutine 同步执行（递归兜底）
j.do(enqueue)
wg.Done()
}
}
// 提交初始任务
initialJobs := []job{
{url: "https://example.com"},
{url: "https://golang.org"},
}
for _, j := range initialJobs {
enqueue(j)
}
// 等待所有任务完成（包括递归生成的）
wg.Wait()
close(jobs) // 关闭通道，通知 workers 退出
}✅ 关键设计优势：
- 无竞态安全：WaitGroup 的 Add/Done 是原子操作，无需额外锁；enqueue 闭包封装了共享状态，避免数据竞争。
- 零死锁风险：非阻塞 select 确保 enqueue 永不阻塞，即使所有 worker 忙于深度递归，也能降级为同步执行。
- 自动启停收敛：wg.Wait() 阻塞直至所有 Add(1) 对应的 Done() 被调用，天然表达“任务图完全执行完毕”的语义；close(jobs) 则优雅终止 worker 循环。
- 内存友好：无需预估最大并发任务数，动态递归深度由栈和堆共同承担（实践中建议对递归深度加限，防止 OOM）。
⚠️ 注意事项：
- 若递归层级极深（如百万级嵌套），同步兜底执行可能导致栈溢出，此时应改用显式任务栈（[]job）+ 迭代处理，或引入深度阈值强制异步化。
- jobs 通道的缓冲大小仅影响吞吐抖动，不影响正确性；设为 0（无缓冲）亦可，但可能略微降低高并发下的投递效率。
- 实际爬虫场景中，还需补充去重（如 map[string]bool）、限速、错误重试等工程化逻辑，但本模式已为这些扩展提供了清晰的结构基础。
该方案以简洁的并发原语组合，实现了高内聚、低耦合的任务调度模型，是 Go 中处理动态 DAG 类任务（如爬虫、并行解析、树形计算）的推荐实践。
