直接用std::hash不行，因其专为内存对象设计，无法读文件、不支持流式哈希、且跨平台哈希值不一致；文件去重必须调用MD5或SHA-256等确定性算法，推荐SHA-256以降低碰撞概率。
为什么直接用 std::hash 不行
因为 std::hash 是为内存中对象设计的，对文件内容不适用。它不能读文件、不处理大文件流式哈希、也不保证跨平台一致性（比如 size_t 在不同系统上长度不同，导致哈希值不一致）。实际做文件去重，必须自己调用确定性哈希算法，比如 MD5 或 SHA-256。
推荐用 SHA-256：碰撞概率更低，且现代 C++ 项目（如用 OpenSSL 或 libsodium）支持良好；MD5 虽快但已不安全，仅适合内部可信环境下的快速初筛。
- 别手写哈希逻辑——容易出错，也难验证正确性
- 避免一次性把整个文件读进内存：
std::ifstream配合read()分块读取更稳妥 - Windows 上注意以
std::ios::binary模式打开，否则换行符会被转换，哈希值错乱
如何用 OpenSSL 实现流式 SHA-256 计算
OpenSSL 的 EVP_DigestInit/EVP_DigestUpdate/EVP_DigestFinal 是标准做法。关键不是“怎么调 API”，而是怎么封装成可复用、不泄漏资源、能处理错误的函数。
示例核心逻辑（省略头文件和错误检查细节，但生产代码必须补全）：
立即学习“C++免费学习笔记（深入）”；
std::string calc_sha256(const std::string& path) {
FILE* f = fopen(path.c_str(), "rb");
if (!f) return "";
EVP_MD_CTX* ctx = EVP_MD_CTX_new();
EVP_DigestInit(ctx, EVP_sha256());
char buf[8192];
size_t n;
while ((n = fread(buf, 1, sizeof(buf), f)) > 0) {
EVP_DigestUpdate(ctx, buf, n);
}
unsigned char md[EVP_MAX_MD_SIZE];
unsigned int md_len;
EVP_DigestFinal(ctx, md, &md_len);
EVP_MD_CTX_free(ctx);
fclose(f);
<pre class='brush:php;toolbar:false;'>std::stringstream ss;
for (unsigned int i = 0; i < md_len; ++i) {
ss << std::hex << std::setw(2) << std::setfill('0') << (int)md[i];
}
return ss.str();}
-
fread返回值可能小于请求长度（如遇到 EOF 或中断），不能只靠feof()判断结束 -
EVP_MD_CTX_new()和EVP_MD_CTX_free()必须配对，否则内存泄漏 - 哈希结果是二进制字节，转十六进制字符串时注意补零（
std::setw(2) + std::setfill('0')）
扫描目录时怎么避免重复计算和路径问题
递归遍历本身不难，难点在于：符号链接循环、权限拒绝、特殊文件（设备文件、socket）、以及同名不同路径的硬链接。简单 std::filesystem::recursive_directory_iterator 会进入循环链接，也默认跳过权限不足目录（抛异常）。
- 加
std::filesystem::directory_options::skip_permission_denied避免因权限中断整个扫描 - 用
symlinks参数设为false（默认值），防止陷入循环软链 - 对每个
std::filesystem::path先调is_regular_file()，跳过目录、socket、FIFO 等非普通文件 - 硬链接会共享 inode（Linux/macOS）或 reparse point（Windows），但哈希值相同——这是好事，不用额外 dedup，但要注意不要因路径不同误判为不同文件
哈希缓存和性能瓶颈在哪
真正慢的不是哈希计算，而是磁盘 I/O。一个 1GB 文件跑 SHA-256 可能只要 200ms，但随机读 1000 个散落的小文件，光 seek 就耗掉几秒。所以缓存策略比算法选择更重要。
- 用
std::unordered_map<:string std::vector>></:string>存 “哈希 → 路径列表”，内存开销可控（哈希串固定 64 字节） - 别对每个文件都重新 open/close —— 系统调用开销显著；但也不要长期 hold 所有文件句柄
- 如果想提速，可先按文件大小分组：大小不同的文件必然内容不同，跳过哈希计算。这一步能过滤掉 80%+ 的文件
- 多线程要小心：OpenSSL 的 EVP 接口不是线程安全的，除非显式调用
OPENSSL_init_crypto(OPENSSL_INIT_THREAD_ASYNC, nullptr)并管理锁
最常被忽略的是：没考虑文件修改时间变更后缓存失效。如果工具要长期运行或增量扫描，得记录 mtime 或用数据库存哈希+size+mtime 三元组校验，否则重复扫描时可能漏掉更新过的文件。
