讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

Seko
Seko

AI短剧一键生成成片

剧云
剧云

中文短剧剧本制作平台

立刻MV
立刻MV

低成本歌曲 MV、视频生成

C++如何实现一个支持百万级并发连接的I/O多路复用框架?(基于io_uring)

陌静同学_6289

陌静同学_6289

发布时间:2026-03-04 13:37:23

|

924人浏览过

|

来源于php中文网

原创

io_uring百万连接需同时启用IORING_SETUP_IOPOLL和IORING_SETUP_SQPOLL,否则submit延迟飙升、吞吐减半;IOPOLL绕过中断轮询完成队列,SQPOLL由内核线程提交SQ,二者缺一不可。

c++如何实现一个支持百万级并发连接的i/o多路复用框架?(基于io_uring)

io_uring 初始化必须用 IORING_SETUP_IOPOLL + IORING_SETUP_SQPOLL

不加这两个 flag,百万连接下 io_uring_submit() 延迟会飙升,实际吞吐掉一半以上。IOPOLL 让内核绕过中断直接轮询完成队列,SQPOLL 则让内核单独起线程提交 SQ,避免用户态频繁陷入 syscall —— 这两者是压测时区分「能跑」和「能稳住」的关键分水岭。

常见错误:只设 IORING_SETUP_SQPOLL 却漏掉 IORING_SETUP_IOPOLL,结果 submit 耗时抖动剧烈,io_uring_sq_ready() 返回值忽高忽低;或者用在非 NVMe 设备上(比如 SATA SSD 或虚拟块设备),IOPOLL 反而降低性能。

  • 初始化前确认设备支持:cat /sys/block/nvme0n1/queue/iostat 存在且 IO poll 字段为 1
  • 内存必须页对齐:posix_memalign() 分配 sq/cq ring 和 submission buffer,否则 io_uring_queue_init_mem() 失败返回 -EINVAL
  • sq_entries 至少设为 32768(2^15),太小会导致 submit 频繁阻塞;cq_entries 建议 ≥ sq_entries × 2,防 completion 队列溢出丢事件

accept 连接不能用 io_uring_register_files() 预注册

预注册文件描述符(fd)看似省事,但 io_uring_register_files() 最大支持约 65535 个 fd,远不够百万连接;更严重的是,新 accept 的 fd 无法动态追加进已注册数组,每次扩容要 io_uring_unregister_files() + 全量重注册,锁竞争激烈,accept 路径直接卡死。

正确做法是彻底放弃预注册,改用 IORING_OP_ACCEPT 直接操作 socket fd,靠 SO_REUSEPORT + 多个 io_uring 实例分担负载。每个 ring 绑定一个 CPU 核,accept 事件由对应核上的 io_uring_enter() 处理。

立即学习“C++免费学习笔记(深入)”;

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 监听 socket 必须设 SO_REUSEPORT:setsockopt(listen_fd, SOL_SOCKET, SO_REUSEPORT, &opt, sizeof(opt))
  • 每个 io_uring 实例调用 io_uring_prep_accept() 时,传入真实 fd(非 file_index),并设 IOSQE_IO_LINK 链后续 read/write 操作
  • 别在 accept 回调里立刻分配 connection 对象 —— 内存分配器(如 tcmalloc)在多线程高并发下易成瓶颈,建议用 per-CPU slab cache 预分配

read/write 必须用 IORING_OP_READ_FIXED + IORING_OP_WRITE_FIXED

百万连接意味着每秒数百万次 read/write 提交,如果每次都 copy 用户 buffer 地址进 sqe,CPU cache line 争用严重,io_uring_sqe_set_data() 开销不可忽视。用 fixed buffer(通过 io_uring_register_buffers())后,sqe 只需填 index,内核直接查表取物理地址,延迟下降 30%+。

坑在于:fixed buffers 生命周期必须严格长于所有关联的 I/O 请求;buffer 数量要按连接峰值预估(比如 1M 连接 × 2 buffers/conn = 2M buffers),且单 buffer 大小建议 4KB–16KB,太小导致频繁切 buffer,太大浪费内存并加剧 TLB miss。

  • 注册前确保 buffer 地址页对齐、长度是页大小整数倍,否则 io_uring_register_buffers() 返回 -EFAULT
  • 每个 connection 关联固定 buffer index,用 io_uring_sqe_set_flags(sqe, IOSQE_BUFFER_SELECT) + sqe->buf_group 指定 group id
  • 收到 IORING_CQE_F_BUFFER 标志时,从 cqe->flags & 0xffff 提取实际使用的 buffer index,别硬解指针

epoll 退场后,如何安全关闭百万连接?

传统 epoll 下 close(fd) 是即时的,但 io_uring 中大量 IORING_OP_CLOSE 提交会挤占 sq 空间,completion 还可能延迟触发,导致 fd 泄漏或 TIME_WAIT 爆满。真正可靠的方案是:先禁读写(shutdown(fd, SHUT_RDWR)),再异步 close,最后靠 io_uring_wait_cqe_timeout() 轮询 close 完成,而非阻塞等待。

更关键的是连接池回收时机:不能等 close 完成才归还 connection 对象,而应在 shutdown 后立即归还到 per-CPU pool,close 操作纯异步执行 —— 否则 pool size 被 pending close 占满,新连接无法分配对象。

  • shutdown 后立刻调用 io_uring_prep_shutdown(),避免残留数据触发 RST
  • close 提交失败(如 cqe->res == -EBADF)说明 fd 已被回收,跳过后续逻辑,别重试
  • TIME_WAIT 问题靠 sysctl 调优:net.ipv4.tcp_tw_reuse = 1 + net.ipv4.ip_local_port_range = "1024 65535",否则端口耗尽比程序崩溃还快
百万连接不是堆参数就能跑起来的事——ring 大小、buffer 管理粒度、fd 生命周期、甚至网卡 RSS 队列与 CPU 核绑定方式,任何一个环节没对齐硬件特性,吞吐就卡在十万级不动。最常被忽略的是:io_uring 不是黑盒,它暴露了内核 I/O 调度的全部细节,你得像调内核模块一样去调它。

热门AI工具

更多
VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

399

2026.04.23

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

6907

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2848

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4798

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

1349

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

443

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

599

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

449

2026.02.06

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

80

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn