
本文详解如何在 go 中真正实现 redis 并发写入:通过多 pipeline + 多客户端连接池替代单 pipeline 串行执行,显著缩短 600 万键值写入耗时,突破 redis 单线程瓶颈下的吞吐限制。
本文详解如何在 go 中真正实现 redis 并发写入:通过多 pipeline + 多客户端连接池替代单 pipeline 串行执行,显著缩短 600 万键值写入耗时,突破 redis 单线程瓶颈下的吞吐限制。
你提供的代码看似“并发”处理三组数据(100 万、200 万、300 万整数),实则仍是完全串行执行:它创建了一个 Pipeline,依次塞入全部 600 万个 SET 命令,再调用一次 Exec() —— 这本质上等同于发送一个超大命令包,Redis 服务端仍需逐条解析、执行、响应,无法利用多核或网络并行性。
关键误区在于:Redis 服务端是单线程(6.0+ 支持多线程 I/O,但命令执行仍为单线程),单个连接的 Pipeline 只能减少网络往返,不能并行化命令执行;而真正的并发加速,必须依赖多个独立连接同时向 Redis 发起请求(即“连接级并发”)。
✅ 正确做法:为每组数据分配独立的 Redis 客户端(共享底层连接池),各自使用 Pipeline 并行提交:
package main
import (
"log"
"strconv"
"sync"
"time"
"github.com/go-redis/redis/v8"
)
var ctx = context.Background()
func main() {
oneMillion := makeRange(1, 1000000)
twoMillion := makeRange(1000001, 3000000)
threeMillion := makeRange(3000001, 6000000)
elements := [][]int{oneMillion, twoMillion, threeMillion}
// 复用同一套连接配置,但创建三个独立 client 实例
opt := &redis.Options{
Addr: "localhost:6379",
Password: "",
DB: 0,
DialTimeout: 30 * time.Second,
WriteTimeout: 30 * time.Second,
ReadTimeout: 30 * time.Second,
PoolSize: 20, // 关键:增大连接池,支撑高并发
MinIdleConns: 5,
}
clients := []*redis.Client{
redis.NewClient(opt),
redis.NewClient(opt),
redis.NewClient(opt),
}
defer func() {
for _, c := range clients {
c.Close()
}
}()
var wg sync.WaitGroup
start := time.Now()
for i, elem := range elements {
wg.Add(1)
go func(idx int, data []int, client *redis.Client) {
defer wg.Done()
pipeline := client.Pipeline()
for _, v := range data {
key := "KEY:" + strconv.Itoa(v)
val := "VAL:" + strconv.Itoa(v)
pipeline.Set(ctx, key, val, 0)
}
if _, err := pipeline.Exec(ctx); err != nil {
log.Printf("Pipeline %d failed: %v", idx, err)
}
}(i, elem, clients[i])
}
wg.Wait()
log.Printf("Total time: %v", time.Since(start))
}
func makeRange(min, max int) []int {
a := make([]int, max-min+1)
for i := range a {
a[i] = min + i
}
return a
}? 核心优化点说明:
- ✅ 多客户端 + 共享连接池:每个
redis.Client持有独立的命令队列和上下文,但底层复用PoolSize配置的 TCP 连接,避免连接爆炸; - ✅ Pipeline 分组提交:每组百万级操作封装为一个 Pipeline,降低网络 RTT 开销;
- ✅
PoolSize ≥ 并发 goroutine 数:确保不因连接争抢阻塞(示例中设为 20,远大于 3); - ⚠️ 注意上下文(context):新版
github.com/go-redis/redis/v8要求所有命令传入context.Context,不可省略; - ⚠️ 错误处理粒度:Pipeline 的
Exec()返回整体错误,建议对超大批次做分片(如每 10,000 条一 pipeline),便于定位失败范围。
? 进阶提示:
若 Redis 服务器支持 RESP3 且启用了 io-threads(Redis 6.0+),可进一步提升 I/O 吞吐;生产环境还应启用连接复用、监控慢日志、设置合理 timeout 与重试策略,并考虑使用 MSET 替代大量 SET(但需注意 key-value 数量限制)。
最终效果:600 万写入耗时将接近单组 300 万的耗时(甚至更优),真正实现“并发时间 ≈ 最长子任务时间”,而非三者之和。



















