讲师中心 微信公众号
AI工具推荐 视频效率加速

C++实现高性能优先级任务调度 _ 基于跳表的高并发实现【源码】

星静君_7884

星静君_7884

发布时间:2026-05-04 16:22:46

|

296人浏览过

|

来源于php中文网

原创

因为std::priority_queue非线程安全且不支持O(log n)随机删除,无法满足高并发调度中任务取消、降级等需求;应选用支持并发操作、无锁可选、允许重复优先级并带引用计数的跳表实现。

c++实现高性能优先级任务调度 _ 基于跳表的高并发实现【源码】

为什么不用 std::priority_queue 做高并发任务调度

因为它是非线程安全的,且不支持 O(log n) 时间内随机删除任意节点——任务超时取消、动态降级、抢占式中断等场景必须能快速移除指定任务。每次用 std::priority_queue 都得加锁 + 全量重建或标记延迟删除,吞吐直接掉一个数量级。

常见错误现象:std::priority_queue 封装成线程安全 wrapper 后,压测下 CPU 消耗集中在锁争用,QPS 卡在 10k 以下;或者用 std::set 替代,但迭代器失效风险高,erase(iterator) 后误用旧迭代器导致崩溃。

  • 真正需要的是:支持并发插入/删除/取顶、无锁路径(lock-free path)可选、key 可重复(同优先级任务多)、支持按 ID 查找
  • std::set 虽有序但 key 必须唯一,任务 ID 和优先级常分离,硬塞进 pair 容易引发比较逻辑歧义
  • 跳表(SkipList)天然满足:平均 O(log n) 插入/删除/查找、易实现无锁变体、允许重复 score、结构清晰利于调试

跳表节点设计必须带唯一 ID 和引用计数

任务调度不是纯排序问题,而是生命周期管理问题。只存 priority 和 task_func 会导致无法安全回收——比如任务已执行完毕,但还在跳表里等待被 pop,此时若线程池直接析构,函数指针就悬空了。

正确做法是每个节点持有一个 std::shared_ptr<task></task>,而 Task 内部含 id(uint64_t)、score(int64_t,时间戳或优先级值)、exec(std::function<void></void>),并重载 operator< 仅基于 score 比较(允许相同 score)。

立即学习“C++免费学习笔记(深入)”;

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载
  • 跳表比较函数不能用 id 参与排序,否则破坏优先级语义;但插入时需用 id 做二次哈希索引,供 Cancel(uint64_t id) 快速定位
  • 引用计数防止任务对象在跳表遍历中途被析构;若用裸指针 + weak_ptr 管理,需在 pop 时先 lock() 成功才执行,否则跳过
  • 节点内存布局建议把 id 放最前,便于后续用 memchr 或 SIMD 批量扫描(调试或统计时有用)

SkipList<Task> 的并发插入要避免 ABA 问题

纯无锁跳表插入时,多个线程可能同时读到同一层的 next 指针为 A,各自构造新节点后 CAS 更新,但第二个 CAS 成功时,第一个线程的局部变量仍指向已被替换的旧 A —— 若它继续往下层操作,就会链入错误位置。这是典型 ABA 问题。

实操建议:不要手写全无锁跳表。生产环境优先用 folly::AtomicUnorderedMap + 分段跳表(per-CPU slab),或基于 absl::container::inlined_vector 实现带 epoch-based reclamation 的跳表。若必须自研,至少对每层 head 使用 std::atomic<Node*> + ABA-safe pointer(如 std::atomic<uintptr_t> 存地址+版本号)。

  • 简单方案:用 std::mutex 保护整个跳表,但粒度改为「按 score 区间分段加锁」,例如 [0, 1000) 一把锁、[1000, 2000) 一把锁,冲突率下降 70%+
  • 禁止在插入回调里调用 schedule() 自身,否则可能死锁(同一段锁重入);应改用 lock-free ring buffer 中转
  • 插入失败时别直接重试,先 std::this_thread::yield(),避免忙等耗尽 CPU

调度循环怎么避免「饥饿」和「惊群」

单纯 while(true) { if (!list.empty()) exec(list.pop()); else sleep(1ms); } 会出问题:低优先级任务永远等不到机会(饥饿);多个工作线程同时发现非空就抢,但只有一个能成功 pop,其余白唤醒(惊群)。

正确模式是「双队列 + 信号量」:跳表只负责有序存储,另起一个 lock-free moodycamel::ConcurrentQueue<Task*> 作 ready queue。定时器线程按 score 扫描跳表,把到期/可执行任务 push 到 ready queue;工作线程只从 ready queue 消费。

  • 扫描跳表不能每次从头开始,要维护一个 min_score_hint(上次扫到的最小 score),下次从该位置 resume,避免重复遍历
  • ready queue 长度超过阈值(如 1024)时,暂停扫描,防止 backlog 积压;同时触发告警而非 crash
  • 惊群本质是 condition variable 唤醒粒度太粗,改用 sem_t 或 std::counting_semaphore(C++20)精确控制唤醒线程数

跳表本身不解决调度策略复杂性——它只是个高效容器。真正的难点在 score 设计(是否融合 deadline、SLA 权重、资源占用预估)、取消路径的原子性、以及跨进程/跨机器协同时的一致性。这些没法靠数据结构一劳永逸。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2208

2024.03.14

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

999

2024.03.14

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

407

2024.03.14

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

307

2024.03.14

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

386

2024.03.14

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

580

2024.03.14

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

1389

2024.03.21

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

1197

2024.03.22

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

100

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn