讲师中心 微信公众号
AI工具推荐 视频效率加速

c++怎么快速生成一个包含随机数据的1GB大型测试文件【实战】

梦枫小哥_4434

梦枫小哥_4434

发布时间:2026-03-31 18:12:13

|

393人浏览过

|

来源于php中文网

原创

用 fwrite 批量写入替代 std::ofstream << 可将1GB文件写入从十几分钟压至几秒;核心是绕过 iostream 格式化开销,以64KB–1MB 二进制块直写磁盘,配 binary 模式、预分配 vector 缓冲区、单次初始化 mt19937、精确字节数控制及 Windows 下 _setmode 强制二进制。

c++怎么快速生成一个包含随机数据的1gb大型测试文件【实战】

用 fwrite 配合缓冲区批量写入,别用 std::ofstream <<

直接用 std::ofstream 逐字节或逐行写,1GB 文件可能跑十几分钟;fwrite 批量写入能压到几秒内。核心是绕过 C++ iostream 的格式化开销和频繁 syscall,让数据以原始二进制块直通磁盘。

  • 每次写入至少 64KB(65536 字节),太小会抵消批量优势;1MB 是更稳妥的起点
  • 用 std::vector<uint8_t> 预分配缓冲区,填满后一次性 fwrite,避免 new/delete 频繁抖动
  • 不要用 std::rand() 填充——它慢且周期短;改用 std::mt19937 + std::uniform_int_distribution<uint8_t>,但注意:只初始化一次引擎,别在循环里反复构造
  • 文件打开必须用 "wb" 模式(C 风格)或 std::ios::binary | std::ios::out(C++ 风格),否则 Windows 下换行符会被悄悄替换,大小不准

生成 1GB 要精确控制字节数,别靠循环次数估算

1GB = 1073741824 字节(即 1 << 30),不是 1000*1000*1000。用近似循环次数(比如“写 100 万次 1KB”)极易偏差几百 MB,尤其当缓冲区大小不能整除总长度时。

  • 计算完整写入次数:full_writes = total_size / buffer_size
  • 剩余字节数:remainder = total_size % buffer_size
  • 先循环 full_writes 次写满缓冲区,再单独处理 remainder 字节(用 fwrite(buf, 1, remainder, fp))
  • 务必用 fseek(fp, 0, SEEK_END) + ftell(fp) 或 stat() 校验最终文件大小,CI 环境或某些文件系统(如 exFAT)可能延迟落盘

Windows 下注意 _setmode(_fileno(fp), _O_BINARY)

即使开了 "wb",MSVC CRT 在某些配置下仍可能对 FILE* 默认启用文本模式,导致写入 0x0A 时自动转成 0x0D 0x0A,文件瞬间变大且内容错乱。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 调用 fopen 后立刻加 _setmode(_fileno(fp), _O_BINARY)(仅 Windows)
  • Linux/macOS 不需要,但加了也无害(宏定义为空)
  • 若用 std::ofstream,则无需此步——但你本就不该用它(见第一条)

内存够就全塞进 std::vector,不够就分块生成

1GB 数据全 load 到内存再写,对多数现代机器(16GB+ RAM)是最快路径;但若内存紧张(比如嵌入式或容器限制),必须流式生成——此时随机性会受限于 PRNG 状态复用。

立即学习“C++免费学习笔记(深入)”;

  • 全内存方案:分配 std::vector<uint8_t>(1073741824),用单个 std::mt19937 实例填充,再 fwrite(vec.data(), 1, vec.size(), fp)
  • 流式方案:每块用相同种子初始化 std::mt19937(如 mt19937{seed + chunk_idx}),保证各块独立可重现,但别用时间戳当种子——会导致块间重复
  • 绝对不要在循环里 new/delete 缓冲区;用一个 vector.resize() 复用内存

最易被忽略的是:关掉 stdout/stderr 的同步(std::ios_base::sync_with_stdio(false))没用——因为你根本不该用 iostream 写这个文件。真要快,从 fopen 到 fwrite 就一条直线,中间别拐弯。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
数据库Delete用法
数据库Delete用法

数据库Delete用法:1、删除单条记录;2、删除多条记录;3、删除所有记录;4、删除特定条件的记录。更多关于数据库Delete的内容,大家可以访问下面的文章。

2951

2023.11.13

drop和delete的区别
drop和delete的区别

drop和delete的区别:1、功能与用途;2、操作对象;3、可逆性;4、空间释放;5、执行速度与效率;6、与其他命令的交互;7、影响的持久性;8、语法和执行;9、触发器与约束;10、事务处理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

905

2023.12.29

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3219

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2778

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1488

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2559

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3290

2023.08.08

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1597

2023.08.10

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn