讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何获取文件系统的物理块大小并根据块大小优化IO读写效率【进阶】

酷明大大_4281

酷明大大_4281

发布时间:2026-03-29 18:15:02

|

196人浏览过

|

来源于php中文网

原创

Linux 下应使用 statvfs 获取 f_bsize 作为文件系统推荐 I/O 对齐大小,而非硬编码 4096;O_DIRECT 场景必须用 posix_memalign 分配内存,并确保缓冲区地址、读写长度和文件偏移均按 f_bsize 对齐。

c++如何获取文件系统的物理块大小并根据块大小优化io读写效率【进阶】

Linux 下用 statfs 或 statvfs 获取物理块大小

文件系统报告的“块大小”不等于磁盘物理扇区或 RAID 条带大小,但它是内核对底层 I/O 对齐建议最直接的来源。优先用 statvfs(POSIX 标准),它返回的 f_bsize 是推荐的文件系统 I/O 缓冲区大小,不是硬编码的 4096。

常见错误是误读 f_frsize(基本分配单元)或 f_blocks(总块数)——它们和 I/O 对齐无关;真正该用的是 f_bsize。

  • statvfs 返回值稳定,跨 ext4/xfs/btrfs 均有效,但不反映 NVMe 的真实扇区粒度(需额外查 /sys/block/*/queue/logical_block_size)
  • 若程序需严格对齐到设备物理扇区(如 mmap + O_DIRECT 场景),f_bsize 可能偏大(例如 XFS 默认 65536),此时应 fallback 到 ioctl(fd, BLKPBSZGET, &phys)
  • 示例:获取当前路径所在文件系统的推荐块大小
#include <sys/statvfs.h>
struct statvfs sv;
if (statvfs(".", &sv) == 0) {
    size_t recommended_io_size = sv.f_bsize; // 这才是你该对齐的尺寸
}

C++ 中对齐内存分配必须用 posix_memalign 而非 new

用 new 或 malloc 分配的内存几乎必然不对齐到 4K/64K,导致 O_DIRECT 读写直接失败并报错 Invalid argument。

根本原因:glibc 的 malloc 仅保证 16 字节对齐,而 O_DIRECT 要求地址、缓冲区长度、文件偏移三者均按 f_bsize 对齐。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

立即学习“C++免费学习笔记(深入)”;

  • 必须用 posix_memalign(&buf, alignment, size),其中 alignment 至少为 f_bsize,且必须是 2 的幂
  • 不能用 aligned_alloc(C++17),它在某些 libc 版本中对齐行为不一致;std::pmr::monotonic_buffer_resource 也不可控
  • 释放时用 free(buf),不是 delete[] —— 这点极易出错

O_DIRECT 读写必须同时满足三个对齐条件

只对齐缓冲区地址是不够的,O_DIRECT 会检查三处:用户缓冲区地址、读写长度、文件起始偏移。任一不满足就返回 -1 并设 errno = EINVAL。

  • 文件打开必须带 O_DIRECT 标志(open(path, O_RDONLY | O_DIRECT)),且不能与 O_APPEND 共存
  • 每次 read()/write() 的 count 必须是 f_bsize 的整数倍(不能是 4096 的倍数,而是 f_bsize 的倍数)
  • 文件偏移(offset 参数或当前文件位置)也必须是 f_bsize 的整数倍
  • 绕过 page cache 后,小 IO 性能反而更差——O_DIRECT 适合 ≥ 128KB 的连续读写,别用它读 1KB 配置文件

Windows 上没有等价的 f_bsize,得查卷参数和设备属性

Windows 没有 POSIX 的 statvfs,也不能用 O_DIRECT。替代方案是 CreateFile 开启 FILE_FLAG_NO_BUFFERING,但它强制要求所有操作满足三重对齐,且对齐基准是卷的“扇区大小”,而非文件系统块大小。

  • 用 GetDiskFreeSpace 获取 lpBytesPerSector(逻辑扇区大小),这是最低对齐单位;lpBytesPerCluster 是簇大小,可作缓冲区参考,但非强制
  • FILE_FLAG_NO_BUFFERING 下,缓冲区地址、长度、文件偏移都必须是 lpBytesPerSector 的整数倍(通常为 512 或 4096)
  • 注意:NTFS 压缩卷、ReFS、BitLocker 加密卷可能不支持 FILE_FLAG_NO_BUFFERING,调用 WriteFile 会失败并返回 ERROR_INVALID_PARAMETER
对齐不是加个 alignas(4096) 就完事的——它只管变量声明时的栈/全局对齐,不管堆上运行时分配的地址。真正影响 O_DIRECT 或 FILE_FLAG_NO_BUFFERING 的,是每次 read/write 调用前那块内存的实际地址值。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3268

2023.11.20

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

5987

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2548

2023.08.10

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

5987

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2548

2023.08.10

数据库Delete用法
数据库Delete用法

数据库Delete用法:1、删除单条记录;2、删除多条记录;3、删除所有记录;4、删除特定条件的记录。更多关于数据库Delete的内容,大家可以访问下面的文章。

3091

2023.11.13

drop和delete的区别
drop和delete的区别

drop和delete的区别:1、功能与用途;2、操作对象;3、可逆性;4、空间释放;5、执行速度与效率;6、与其他命令的交互;7、影响的持久性;8、语法和执行;9、触发器与约束;10、事务处理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

945

2023.12.29

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3279

2023.07.26

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn