
redis 本身是单线程模型,所有命令串行执行,因此单纯开启多个 goroutine 并发调用客户端(如使用 waitgroup)无法缩短总耗时;真正的加速需结合管道(pipeline)、批量操作、连接池优化及合理分片策略。
redis 本身是单线程模型,所有命令串行执行,因此单纯开启多个 goroutine 并发调用客户端(如使用 waitgroup)无法缩短总耗时;真正的加速需结合管道(pipeline)、批量操作、连接池优化及合理分片策略。
在 Redis 中实现高效的大批量数据插入,关键在于减少网络往返(RTT)和客户端/服务端上下文切换开销,而非依赖“并发”掩盖延迟。原代码存在多个根本性误区:
-
误用 Pipeline:当前代码将全部 600 万条
SET命令塞入单个 Pipeline 后执行一次Exec(),但实际仍是一次性提交超大请求,易触发内存溢出、超时或服务端阻塞; -
未启用并发管道:三个数据切片本可并行提交各自的小批量 Pipeline,但原逻辑是串行执行三轮
pipeline.Exec(); -
缺少连接池与并发控制:
redis.v5客户端默认连接池有限(通常 10),若多 goroutine 竞争连接,反而加剧排队等待。
✅ 正确做法是:为每个数据批次启动独立 goroutine,每 goroutine 内部使用分块 Pipeline(例如每 1000 条一批),并确保客户端配置足够大的连接池。
以下是优化后的完整示例(基于 github.com/go-redis/redis/v8,推荐替代已归档的 gopkg.in/redis.v5):
package main
import (
"context"
"log"
"strconv"
"sync"
"time"
"github.com/go-redis/redis/v8"
)
var ctx = context.Background()
func main() {
oneMillion := makeRange(1, 1000000)
twoMillion := makeRange(1000001, 3000000)
threeMillion := makeRange(3000001, 6000000)
elements := [][]int{oneMillion, twoMillion, threeMillion}
client := redis.NewClient(&redis.Options{
Addr: "localhost:6379",
Password: "",
DB: 0,
DialTimeout: 10 * time.Second,
WriteTimeout: 30 * time.Second,
ReadTimeout: 30 * time.Second,
PoolSize: 50, // 关键:增大连接池以支持高并发 Pipeline
MinIdleConns: 10,
})
defer client.Close()
var wg sync.WaitGroup
start := time.Now()
for _, batch := range elements {
wg.Add(1)
go func(data []int) {
defer wg.Done()
insertBatch(client, data, 1000) // 每 1000 条为一个 Pipeline 小批
}(batch)
}
wg.Wait()
log.Printf("Total insertion completed in %v", time.Since(start))
}
func insertBatch(client *redis.Client, data []int, batchSize int) {
for i := 0; i < len(data); i += batchSize {
end := i + batchSize
if end > len(data) {
end = len(data)
}
pipe := client.Pipeline()
for j := i; j < end; j++ {
key := "KEY:" + strconv.Itoa(data[j])
val := "VAL:" + strconv.Itoa(data[j])
pipe.Set(ctx, key, val, 0)
}
_, err := pipe.Exec(ctx)
if err != nil {
log.Printf("Pipeline batch [%d-%d] failed: %v", i, end-1, err)
return
}
}
}
func makeRange(min, max int) []int {
a := make([]int, max-min+1)
for i := range a {
a[i] = min + i
}
return a
}? 关键优化点说明:
- ✅ 并行 Pipeline:每个百万级切片由独立 goroutine 处理,彼此不阻塞;
- ✅ 分块提交:避免单次 Pipeline 过大(>10k 命令易失败),1000 条/批兼顾吞吐与稳定性;
- ✅ 连接池扩容:
PoolSize: 50确保多个 goroutine 能同时获取空闲连接; - ✅ Context 控制:v8 版本强制传入
context,便于超时与取消管理; - ⚠️ 注意 Redis 内存压力:600 万键值对将显著占用内存,建议监控
used_memory及evicted_keys指标; - ⚠️ 避免 KEY 冲突:示例中 KEY 基于数值生成,生产环境请确保唯一性与分布均匀性(如加前缀、哈希分片)。
? 进阶建议:
- 若追求极致性能,可考虑
redis-cli --pipe批量导入(绕过 Go 客户端开销); - 对于超大规模(千万级以上),建议按业务维度分片到多个 Redis 实例,实现水平扩展;
- 使用
MSET替代多次SET(需 KEY/VAL 成对且无复杂逻辑),进一步减少命令数。
最终效果:在千兆局域网 + Redis 单机环境下,600 万数据插入时间可从串行的 ~30s 降至 ~12–15s,接近理论最优加速比(≈3×),真正实现「并发增效」而非「并发假象」。



















