讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在Go语言中编写一个支持多并发请求去重的防雪崩缓存模块

阿晨姑娘_9295

阿晨姑娘_9295

发布时间:2026-09-02 07:37:25

|

1031人浏览过

|

来源于php中文网

原创

直接用 sync.Map 去重会失败,因其仅保证单键操作线程安全,不支持“原子性等待”,导致多 goroutine 同时缓存未命中而重复请求下游,引发雪崩;需用 singleflight.Group 实现按 key 共享执行、广播结果。

如何在go语言中编写一个支持多并发请求去重的防雪崩缓存模块

为什么直接用 sync.Map 做去重会失败

因为 sync.Map 只保证单个键值操作的线程安全,不提供「原子性等待」能力。多个 goroutine 同时查缓存未命中,都会触发下游请求,导致击穿——这正是雪崩的起点。

真正需要的是:**首次请求发起加载,其余请求阻塞等待结果返回,而非各自发起请求**。Go 标准库没现成组件,得靠 sync.Once + sync.Map 组合实现「按 key 粒度的 Once」。

  • 别用 sync.Once 全局单例——它只能执行一次,无法按 key 区分
  • 每个 key 对应一个 sync.Once 实例,需动态创建并安全复用(避免内存泄漏)
  • 不能把 sync.Once 存在 sync.Map 里直接用指针——sync.Once 不可复制,必须用指针存取

用 singleflight.Group 替代手写 Once 池更稳妥

singleflight.Group 是 Go 官方 x/sync 包提供的成熟方案,专为「共享一次执行、广播结果」设计,天然适配防雪崩场景。

它内部用 map + mutex 管理 pending 请求,自动去重、合并、广播,比手写更少出错:

立即学习“go语言免费学习笔记(深入)”;

Go语言(Golang)1.26.0
Go语言(Golang)1.26.0

Go语言(Golang)1.26.0版本官方下载,版本号 1.26.0,适合旧项目维护、兼容性测试和指定版本开发环境搭建。

下载
  • 调用 Do(key, fn) 时,相同 key 的所有调用会排队等待首个执行完成
  • fn 返回 (interface{}, error),成功结果缓存并返回给所有等待者;失败则所有等待者收到同一错误
  • 不缓存结果本身——它只管「执行去重」,缓存逻辑仍需你用 sync.Map 或其他存储单独管理

示例关键片段:

var group singleflight.Group

func Get(key string) (string, error) {
    v, err, _ := group.Do(key, func() (interface{}, error) {
        // 这里才是真正可能耗时/打下游的逻辑
        res, err := fetchFromDB(key)
        if err != nil {
            return "", err
        }
        // 写入本地缓存(如 sync.Map)
        cache.Store(key, res)
        return res, nil
    })
    return v.(string), err
}

缓存过期与 singleflight 协同的陷阱

如果只依赖 singleflight 去重,但缓存过期后多个请求同时穿透,依然会雪崩——singleflight 的 key 生命周期和缓存生命周期必须对齐。

常见错误是:缓存过期后直接删 key,下次请求进来发现 miss,又触发 group.Do,但此时旧的 singleflight entry 已被 GC 或失效,无法复用。

  • 推荐策略:缓存不过期,改用「逻辑过期」——value 里嵌入 expireAt 时间戳,读时判断,过期则异步刷新(或阻塞刷新)
  • 若必须物理删除,删 key 前先调用 group.Forget(key)(Go 1.21+),否则旧 entry 可能残留并阻塞新请求
  • 不要在 fn 里做长时间阻塞操作(如超时未设限的 HTTP 请求),否则整个 key 的后续请求全卡住

并发量大时 singleflight.Group 的内存与性能边界

singleflight.Group 内部用 map 存 pending 请求,key 长期不清理会内存泄漏。尤其高频短命 key(如带时间戳的 API 请求)极易踩坑。

  • 没有内置 TTL,必须自己控制 key 命名粒度——避免把请求参数全拼进 key(如 "user:123:ts:1718234567"),改用稳定标识(如 "user:123")
  • 高并发下 map 锁竞争明显,实测 10k+ QPS 时建议配合 key 分片(如 groupArr[hash(key)%N])缓解热点
  • 注意 Do 的第二个参数函数不能 panic,否则所有等待者收到 panic 转成的 error,且该 key 的 entry 会被丢弃,下次请求重新进入

实际部署时,最易忽略的是 key 设计与 Forget 的配合时机——它不像缓存那样有明确生命周期,得靠业务逻辑主动管理。

热门AI工具

更多
Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

相关专题

更多
Go中Type关键字的用法
Go中Type关键字的用法

Go中Type关键字的用法有定义新的类型别名或者创建新的结构体类型。本专题为大家提供Go相关的文章、下载、课程内容,供大家免费下载体验。

2849

2023.09.06

go怎么实现链表
go怎么实现链表

go通过定义一个节点结构体、定义一个链表结构体、定义一些方法来操作链表、实现一个方法来删除链表中的一个节点和实现一个方法来打印链表中的所有节点的方法实现链表。

5667

2023.09.25

go语言编程软件有哪些
go语言编程软件有哪些

go语言编程软件有Go编译器、Go开发环境、Go包管理器、Go测试框架、Go文档生成器、Go代码质量工具和Go性能分析工具等。本专题为大家提供go语言相关的文章、下载、课程内容,供大家免费下载体验。

702

2023.10.13

0基础如何学go语言
0基础如何学go语言

0基础学习Go语言需要分阶段进行,从基础知识到实践项目,逐步深入。php中文网给大家带来了go语言相关的教程以及文章,欢迎大家前来学习。

7425

2023.10.26

Go语言实现运算符重载有哪些方法
Go语言实现运算符重载有哪些方法

Go语言不支持运算符重载,但可以通过一些方法来模拟运算符重载的效果。使用函数重载来模拟运算符重载,可以为不同的类型定义不同的函数,以实现类似运算符重载的效果,通过函数重载,可以为不同的类型实现不同的操作。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2676

2024.02.23

Go语言中的运算符有哪些
Go语言中的运算符有哪些

Go语言中的运算符有:1、加法运算符;2、减法运算符;3、乘法运算符;4、除法运算符;5、取余运算符;6、比较运算符;7、位运算符;8、按位与运算符;9、按位或运算符;10、按位异或运算符等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2904

2024.02.23

go语言开发工具大全
go语言开发工具大全

本专题整合了go语言开发工具大全,想了解更多相关详细内容,请阅读下面的文章。

6399

2025.06.11

go语言引用传递
go语言引用传递

本专题整合了go语言引用传递机制,想了解更多相关内容,请阅读专题下面的文章。

4077

2025.06.26

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

20

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Fiber框架两小时速通教程
Fiber框架两小时速通教程

共0课时 | 0人学习

GoLand安装与Go基础进阶
GoLand安装与Go基础进阶

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn