直接用chan做实时计算队列会丢任务,是因为主goroutine提前退出导致worker被强制终止;必须用sync.WaitGroup同步生命周期,且缓冲区大小不能盲目扩大,需结合水位监控与单任务超时控制。

为什么直接用 chan 做实时计算队列会丢任务
程序启动几秒就退出,日志只打印前几个 task,后续全无记录——这不是 channel 没数据,而是主 goroutine 提前退出,所有正在 process() 的 worker 被强制 kill。Go 不保证 for task := range ch 会等你处理完再退出,close(ch) 只是让循环停止接收,不阻塞已启动的 goroutine。
必须同步 worker 生命周期:
-
sync.WaitGroup必须在每个 worker goroutine 开头调用wg.Add(1),结尾用defer wg.Done() - 主 goroutine 要在所有任务入队后、且确定不再发新任务时,才调用
wg.Wait() -
wg不能值传(比如go worker(ch, wg)),必须传指针或闭包捕获,否则每个 goroutine 操作的是副本
缓冲区大小设成 10000 真的比 100 更抗压吗
不是。盲目扩大 make(chan Task, 10000) 只会掩盖真实瓶颈:当 len(ch) == cap(ch) 长期成立,说明消费端卡住了,而不是队列太小。
更有效的做法是盯住水位和耗时:
立即学习“go语言免费学习笔记(深入)”;
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器,提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象,支持命名依赖等
- 初始 buffer 设为 100,上线后加监控:当
len(ch) > 0.8*cap(ch)时触发告警 - 每个 worker 处理前打
start timestamp,结束后打end,统计 P99 耗时 - 若 P99 > 500ms,优先优化单条逻辑(比如 DB 写入没加
context.WithTimeout、HTTP 调用没设 deadline),而不是加 buffer 或增 worker 数
多个数据源混入一个 chan 怎么避免逻辑错乱
别把 Kafka、Redis Stream、HTTP webhook 的消息都 unmarshal 成同一个 struct 后靠外部变量判断来源——这会让 switch 分支散落在各处,灰度难、排查难、扩展难。
统一消息结构才是解耦关键:
- 定义
type Message struct { Source string; Payload []byte; Timestamp time.Time } - 每个消费者在
send前填msg.Source = "kafka-order-events"(字符串从配置读,非硬编码) - worker 内部用
switch msg.Source分流,逻辑隔离、可单独启停、可观测性好
实时计算里超时控制为什么不能只靠 context.WithTimeout
全局 ctx, cancel := context.WithTimeout(...) 一 cancel,所有正在跑的 worker 全中断——哪怕只剩 100ms 就写完数据库。实时计算要求“单条失败不拖垮整体”,必须粒度下沉。
每条消息配独立上下文:
- 入队前:
ctx, cancel := context.WithTimeout(context.Background(), 3*time.Second) - worker 中用
select包裹关键操作:case - 批量写 DB 时,对整批操作设独立 deadline(比如
ctx, _ := context.WithTimeout(parentCtx, 2*time.Second)),而非复用单条 ctx
最易被忽略的是 channel 关闭时机:生产者关 ch 前,必须确保所有已发送消息已被消费——否则 range 循环提前结束,但最后几条还在 worker 里跑着,主 goroutine 却已 exit,任务静默丢失。

















