工作池模式通过限制goroutine数量高效处理并发任务。1. 使用有缓冲channel作为任务队列；2. 启动固定worker从队列消费任务；3. 主协程分发任务并用WaitGroup等待完成；4. 可扩展结果channel返回执行结果与错误。适用于批量I/O操作，需合理设置worker数、缓冲大小，及时关闭channel，避免泄漏。
在Go语言中，工作池（Worker Pool）模式是一种常见的并发处理方式，适用于需要控制并发数量、高效处理大量短期任务的场景。通过限制启动的goroutine数量，既能充分利用系统资源，又能避免因创建过多协程导致内存溢出或调度开销过大。
工作池的基本结构
一个典型的工作池由以下几个部分组成：
- 任务队列：使用有缓冲的channel存放待处理的任务。
- 工作者（Worker）：固定数量的goroutine从任务队列中读取任务并执行。
- 任务分发机制：主协程将任务发送到任务队列。
- 等待所有任务完成：使用sync.WaitGroup确保所有任务执行完毕。
这种模式特别适合批量处理I/O操作，如HTTP请求、文件读写、数据库查询等。
实现一个简单的工作池
下面是一个可运行的示例，展示如何用Go实现一个基础工作池：
立即学习“go语言免费学习笔记（深入）”；
package main
import (
"fmt"
"sync"
"time"
)
// Task 表示一个待处理的任务
type Task struct {
ID int
Data string
}
// Worker 处理任务的函数
func worker(id int, jobs <-chan Task, wg *sync.WaitGroup) {
defer wg.Done()
for task := range jobs {
fmt.Printf("Worker %d processing task %d: %s\n", id, task.ID, task.Data)
time.Sleep(time.Second) // 模拟耗时操作
}
}
func main() {
const numWorkers = 3
const numTasks = 10
var wg sync.WaitGroup
jobs := make(chan Task, numTasks)
// 启动工作池中的worker
for i := 1; i <= numWorkers; i++ {
wg.Add(1)
go worker(i, jobs, &wg)
}
// 发送任务到任务队列
for i := 1; i <= numTasks; i++ {
jobs <- Task{ID: i, Data: fmt.Sprintf("data-%d", i)}
}
close(jobs) // 关闭channel，防止goroutine泄漏
// 等待所有worker完成
wg.Wait()
fmt.Println("All tasks completed.")
}在这个例子中，我们启动了3个worker，共提交10个任务。任务通过channel分发，每个worker循环接收任务直到channel关闭。
Golang Uber Dig
下载
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
增强版：支持结果返回和错误处理
实际应用中，任务往往需要返回结果或上报错误。可以通过增加结果channel来实现：
type Result struct {
TaskID int
Error error
Output string
}
func workerWithResult(id int, jobs <-chan Task, results chan<- Result, wg *sync.WaitGroup) {
defer wg.Done()
for task := range jobs {
var err error
output := fmt.Sprintf("processed-%s", task.Data)
// 模拟可能失败的操作
if task.ID%5 == 0 {
err = fmt.Errorf("task %d failed intentionally", task.ID)
}
results <- Result{
TaskID: task.ID,
Error: err,
Output: output,
}
}
}
func main() {
const numWorkers = 3
const numTasks = 10
var wg sync.WaitGroup
jobs := make(chan Task, numTasks)
results := make(chan Result, numTasks)
// 启动带结果返回的worker
for i := 1; i <= numWorkers; i++ {
wg.Add(1)
go workerWithResult(i, jobs, results, &wg)
}
// 提交任务
for i := 1; i <= numTasks; i++ {
jobs <- Task{ID: i, Data: fmt.Sprintf("data-%d", i)}
}
close(jobs)
// 单独启动一个goroutine收集结果
go func() {
wg.Wait()
close(results)
}()
// 打印结果
for result := range results {
if result.Error != nil {
fmt.Printf("Task %d failed: %v\n", result.TaskID, result.Error)
} else {
fmt.Printf("Task %d succeeded: %s\n", result.TaskID, result.Output)
}
}
fmt.Println("All tasks with results completed.")
}这个版本增加了结果回传机制，主协程可以统一处理成功或失败的任务，便于日志记录、重试或通知。
使用场景与注意事项
工作池模式适用于以下场景：
- 批量爬虫抓取网页
- 并发执行数据库插入
- 图像或文件批量处理
- 微服务中并发调用多个下游接口
使用时需注意：
- 合理设置worker数量，通常根据CPU核心数或I/O并发能力调整。
- 任务channel要有足够缓冲，避免阻塞生产者。
- 务必关闭任务channel，否则worker会永远阻塞在range上。
- 使用WaitGroup时，Add要在Go之前调用，防止竞态条件。
- 长时间运行的服务应考虑优雅关闭和超时控制。
基本上就这些。Go的channel和goroutine让工作池实现变得简洁高效，掌握这一模式能显著提升程序的并发处理能力。
