并发数应设为runtime.NumCPU()*2(通常4–8),过高引发CPU与磁盘争抢,过低无法消化I/O任务;必须用带缓冲channel(如make(chan ImageTask, 1000))控节奏,worker内加defer recover()防panic卡死WaitGroup。

并发数设多少才不崩内存
别写死 go process(img),1000 张图直接起 1000 个 goroutine 是最常见 OOM 原因。JPEG 解码一张图常占 5–20MB 内存,16GB 机器撑不过 500 张。
正确做法是用固定数量 worker + 缓冲 channel 控制节奏:
- worker 数量建议设为
runtime.NumCPU() * 2(通常 4–8),太高 CPU 和磁盘争抢严重,太低压不住 I/O - 任务 channel 必须带缓冲:
tasks := make(chan ImageTask, 1000),避免主流程(如filepath.WalkDir)被阻塞 - 每个 worker 开头加
defer wg.Done()和defer recover(),否则 panic 会导致整个 WaitGroup 卡死
image.Decode 返回 nil 图像却不报错怎么办
image.Decode 在文件头损坏、EXIF 过长或遇到 CMYK JPEG 时,可能静默返回 (nil, "jpeg", nil)——格式猜对了,图像实例却是空的。后续调 imaging.Resize 就 panic。
必须三值检查,不能只看 err == nil:
立即学习“go语言免费学习笔记(深入)”;
- 写成
img, format, err := image.Decode(f),且err == nil后必须再判断img == nil - 若
img == nil,先用image.DecodeConfig读 header 判断是否真为图像,再决定跳过或记录日志:log.Printf("skip %s: decode returned nil image, format=%q", path, format) - 对 WebP 或含 ICC Profile 的 JPEG,
imaging.Open可能静默失败,优先用标准库image.Decode+ 三值检查
imaging.Thumbnail 和 imaging.Resize 到底该用哪个
两者行为差异极大,混用会毁图:
-
imaging.Thumbnail(img, w, h, filter):先等比缩放到“不超出 w×h”,再居中裁切 → 适合头像、商品图等需固定尺寸的场景 -
imaging.Resize(w, h, img, filter):强制拉伸/填充到精确 w×h → PNG 有 alpha 时默认填黑底,若没传imaging.FillColor,容易出灰边或透明撕裂 - 保持宽高比、只限制最大宽度(如文章配图)→ 用
imaging.Resize(width, 0, img, filter),高度传 0
压缩后怎么交还给 HTTP 或保存到磁盘不爆内存
别把整张压缩图 load 进内存再写,5MB 原图解码成 RGBA 后可能占 15MB,100 并发就吃光 1.5GB。
关键在流式和复用:
- HTTP 场景:用
io.Pipe创建 reader/writer,一边jpeg.Encode(pipeWriter, resized, &jpeg.Options{Quality: q}),一边io.Copy(responseWriter, pipeReader) - 批量保存:复用
bytes.Buffer(调buffer.Reset()),大图建议用sync.Pool管理临时*image.RGBA - PNG 压缩别直接用
png.Encode,它不支持压缩级别;要包一层zlib.Writer,设Level: zlib.BestSpeed防 CPU 拉满
真正难的不是“怎么缩”,而是“缩完怎么不出错地交出去”。每一步都得防住 nil、防住 panic、防住 buffer 不 reset、防住 channel 不 close —— 这些点漏一个,服务就在线上静默掉队。


















