讲师中心 微信公众号
AI工具推荐 视频效率加速

C++如何实现大文件的流式哈希计算 _ 增量更新SHA256【实战】

雨枫大大_5257

雨枫大大_5257

发布时间:2026-04-13 18:39:16

|

941人浏览过

|

来源于php中文网

原创

应分块流式读取并增量哈希更新,因一次性加载大文件易致OOM或卡死;必须用std::ios::binary模式、检查gcount()、正确初始化/清理EVP_MD_CTX,并将32字节哈希转为小写十六进制字符串。

c++如何实现大文件的流式哈希计算 _ 增量更新sha256【实战】

直接用 std::ifstream::read 一次性读完整个大文件再喂给 SHA256,大概率会 OOM 或卡死——这不是算法慢,是内存用错了地方。必须分块流式读取 + 增量哈希更新。

为什么不能用 ComputeHash 或全量 read

OpenSSL 的 EVP_DigestUpdate 和 .NET 的 TransformBlock 都明确支持增量计算,但很多人仍习惯性调 EVP_DigestFinal_ex 前把整个文件 load 进 std::vector。后果很直接:

  • 4GB 文件在 32 位环境或容器中可能直接触发 std::bad_alloc
  • 64 位下虽不崩溃,但占用数百 MB 内存毫无必要,还会干扰其他 IO 调度
  • std::ifstream::seekg(0, std::ios::end) + tellg() 对管道、设备文件失败,且 Windows text 模式下不可靠
  • 用 file_size() 判断大小后仍需依赖 gcount() ——文件可能被截断,file_size() 返回的是 stat 时刻的值

怎么正确初始化和清理 OpenSSL 的哈希上下文

EVP_MD_CTX 是有状态对象,必须配对使用 EVP_MD_CTX_new 和 EVP_MD_CTX_free,漏掉任意一个分支都会泄漏或 segfault。

  • 必须用 EVP_DigestInit_ex(ctx, EVP_sha256(), nullptr) 初始化,第三个参数为 nullptr 表示默认 engine;传错(比如传 NULL)可能触发未定义行为
  • OpenSSL 1.1.1+ 强制要求 EVP_MD_CTX_new,旧版本用 EVP_MD_CTX_create,混用必崩
  • 所有提前 return 路径(如 !file.is_open()、EVP_DigestUpdate 失败)都得确保调了 EVP_MD_CTX_free(ctx)
  • EVP_sha256() 返回 const 指针,别 free 它

缓冲区大小和读取逻辑的关键细节

缓冲区不是越大越好,也不是越小越安全。真实瓶颈常在系统调用开销与内存驻留之间。

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载

立即学习“C++免费学习笔记(深入)”;

  • 推荐 64KB–1MB 区间(如 std::vector<uint8_t> buf(65536)</uint8_t>),太小(1KB)导致频繁 read() 系统调用,吞吐骤降
  • std::ifstream 必须用 std::ios::binary 模式打开,否则 Windows 下 \r\n 会被转换,哈希值彻底错误
  • 循环条件不能只靠 !file.eof() ——它只在读失败后置位,末尾不满块时会多算一次
  • 每次 read() 后必须检查 file.gcount(),它返回本次实际读取字节数;末块往往小于 buf.size()
  • 最后一块处理要单独判断:if (file.gcount() > 0) { EVP_DigestUpdate(...); }

输出哈希值时最容易翻车的三件事

32 字节二进制结果直接当字符串打印,99% 会出错:要么截断(遇到 \0),要么乱码,要么长度不对。

  • 必须转成小写十六进制字符串(64 字符),不是 base64,不是大写,不是 printf("%x")
  • 每字节必须补前导零:std::setw(2) ,否则 <code>0x05 变成 "5",长度只剩 63
  • 别手写 for 循环拼接——容易越界、漏字节、大小端混淆;std::ostringstream + 流操作符最稳
  • 输出用 std::string,别返回 const char*,避免悬垂指针

真正难的不是写对第一版,而是覆盖所有边界:空文件、权限不足、磁盘突然拔出、文件被其他进程截断……这些情况下的 gcount()、eof()、fail() 组合行为,比算法本身更需要实测验证。

热门AI工具

更多
UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

529

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

1678

2024.03.01

printf用法大全
printf用法大全

php中文网为大家提供printf用法大全,以及其他printf函数的相关文章、相关下载资源以及各种相关课程,供大家免费下载体验。

708

2023.06.20

fprintf和printf的区别
fprintf和printf的区别

fprintf和printf的区别在于输出的目标不同,printf输出到标准输出流,而fprintf输出到指定的文件流。根据需要选择合适的函数来进行输出操作。更多关于fprintf和printf的相关文章详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1009

2023.11.28

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2058

2023.09.20

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1638

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2464

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

5924

2023.10.24

FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

0

2026.10.08

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn