讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何实现大文件的并行哈希值计算_提高计算速度【技巧】

陌伟君_3310

陌伟君_3310

发布时间:2026-04-13 12:49:05

|

712人浏览过

|

来源于php中文网

原创

多个线程不能并发更新同一哈希上下文,因其内部状态无锁保护,会导致哈希错误或崩溃;正确做法是并行读取文件块、单线程累积哈希,或改用支持并行的HighwayHash。

c++如何实现大文件的并行哈希值计算_提高计算速度【技巧】

不能靠多线程并发更新同一个哈希上下文——会崩溃或结果错乱;并行只该用在 I/O 层,哈希计算本身必须串行完成。

为什么多个线程不能同时调用 EVP_DigestUpdate 或 MD5_Update

因为这些函数操作的是共享的内部状态(比如 MD5_CTX 里的 4 个 unsigned long 累加器 + 64 字节缓冲区),没有任何原子保护或锁机制。两个线程同时写同一块内存,轻则哈希值错误,重则触发 segmentation fault。

  • 错误现象:EVP_DigestUpdate 返回 0、MD5_Final 输出全 0、程序随机 crash
  • 别信“我加了 mutex 就安全”——加锁后性能还不如单线程,且容易漏锁或死锁
  • OpenSSL 的 EVP 接口不是为并发设计的;SHA256_Init/SHA256_Update 这类底层 C 函数更危险,连参数合法性都不检查

正确做法:每个线程独立打开文件 + 定位读取 + 收集 chunk

文件系统支持随机读,但 C++ 流对象(如 std::ifstream)不是线程安全的。多个线程共用一个流对象调 seekg() + read(),位置指针会互相覆盖,实际读到的数据不可控。

  • 每个线程用 std::ifstream 独立打开文件(或用 open() + pread() 更底层)
  • 传入明确的 offset 和 length,用 seekg(offset) 定位后读固定长度
  • 别依赖 tellg() 校验位置——多线程下它可能返回 -1 或未定义值
  • 读完后把 buf 和真实字节数(gcount())交给主线程统一处理

推荐组合:并行读 + 单线程哈希 + MAP_POPULATE 加速 mmap

想真正提速,关键不是让 CPU 更忙,而是减少 I/O 等待。实测中,并行读比单线程读快 2–4 倍(尤其在 NVMe 或 RAID 上),而哈希计算本身通常不构成瓶颈。

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

立即学习“C++免费学习笔记(深入)”;

  • 用 mmap 替代 read()?可以,但必须带 MAP_PRIVATE | MAP_POPULATE —— 否则首次访问映射页时触发缺页中断,线程卡住,失去并行意义
  • buffer 大小建议设为 65536(64KB)到 1048576(1MB);太小增加系统调用开销,太大无收益
  • 禁用流缓冲:ifs.rdbuf()->pubsetbuf(nullptr, 0),你已手动管理 buffer,双重缓冲反而拖慢
  • 最后所有 chunk 收齐,再用单线程调一次 EVP_DigestUpdate(或 hasher.update())完成累积计算

想直接上并行哈希?换 HighwayHash 的 DataParallelHash

如果你不需要兼容 OpenSSL、不强制要求 SHA256/MD5,HighwayHash 是少数真正支持安全并行哈希的库。它的 DataParallelHash 模板内部做了数据分片、状态隔离和归并,不用你操心线程安全。

  • 头文件:#include "highwayhash/data_parallel.h"
  • 用法示例:DataParallelHash<highwayhashcat>> hasher;</highwayhashcat>,然后多线程调 hasher.Append(buffer, size)
  • 最终调 hasher.Finalize(result) 得到完整哈希值,不是 N 个片段哈希拼起来的那种
  • 注意:它不兼容标准哈希算法,输出值跟 SHA256 不等价,仅适用于内部校验场景

最容易被忽略的一点:哈希值是否正确,永远取决于最后一块读了多少字节——gcount() 是唯一可信依据,eof() 和 file_size() 都可能失准,尤其是 NFS 或文件被截断时。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

379

2026.04.23

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

3208

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

5269

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3869

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

486

2026.01.19

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

1947

2023.09.19

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4618

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

1289

2025.12.24

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

0

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn