用文件哈希而非文件名或大小判断重复，因哈希能100%确认内容一致；需剥离EXIF元数据以实现视觉去重；批量删除时按分辨率、文件大小、修改时间优先保留最优副本，并采用安全删除策略。
为什么用文件哈希而不是文件名或大小判断重复？
文件名相同不代表内容相同，大小一致也可能是巧合。真正可靠的重复判定必须基于像素级内容比对，而直接读取所有图片逐像素比较太慢。实际做法是先用哈希算法（如 md5 或 sha256）生成内容指纹——只要两个文件的哈希值完全一致，就能 100% 确认它们是同一份数据（忽略极小概率碰撞）。注意：md5 足够用于本地去重，速度比 sha256 快约 30%，且碰撞风险在单机场景下可忽略。
如何避免因 EXIF 元数据导致哈希不一致？
同一张照片用不同手机/软件保存后，可能仅因拍摄时间、GPS、缩略图等 EXIF 字段不同，导致哈希值变化。若想按“视觉内容”去重，就得先剥离元数据。推荐用 PIL.Image 重新编码为无 EXIF 的 PNG 或 JPEG：
from PIL import Image
import io
<p>def get_content_hash(filepath):
try:
img = Image.open(filepath)</p><h1>强制转为 RGB（处理 RGBA/P 模式）</h1><pre class='brush:python;toolbar:false;'> if img.mode in ('RGBA', 'LA', 'P'):
bg = Image.new('RGB', img.size, (255, 255, 255))
bg.paste(img, mask=img.split()[-1] if img.mode == 'RGBA' else None)
img = bg
else:
img = img.convert('RGB')
# 写入内存 buffer，跳过原始文件元数据
buf = io.BytesIO()
img.save(buf, format='JPEG', quality=95)
return hashlib.md5(buf.getvalue()).hexdigest()
except Exception:
return None这个函数会统一输出视觉一致的哈希值，但代价是耗时增加约 5–10 倍。如果只清理下载目录里明显重复的副本（比如带 (1)、-copy 后缀的），可跳过这步直接用原始文件哈希。
怎样安全地批量删除重复项，保留质量最好的那一份？
不能简单按路径字母序删，要优先保留分辨率高、文件大（通常意味着细节多）、或修改时间新（更可能是原始文件）的版本。实操建议：
立即学习“Python免费学习笔记（深入）”；
- 对每组重复文件（哈希相同），先用
PIL.Image.open().size获取宽高，选面积最大的；若相等，再比os.path.getsize()；仍相等，再比os.path.getmtime() - 删除前务必用
os.rename(filepath, filepath + '.to_delete')替代直接os.remove()，留出人工复核窗口 - 跳过正在被其他程序占用的文件（
PermissionError或WindowsError: [Errno 32]），记录日志而非中断脚本 - 支持白名单路径，例如跳过
C:\Users\XXX\Pictures\Originals\目录下的所有文件，防止误删源素材
运行时卡住或内存爆掉怎么办？
扫描万级图片时，常见问题是把所有哈希和路径全塞进内存字典，或一次性打开太多图片对象。关键控制点：
- 用生成器逐个处理文件：
for root, _, files in os.walk(start_path):，别用glob.glob('**/*.jpg')加载全部路径 - 哈希计算完立刻丢弃
Image对象（显式调用del img），避免 PIL 缓存累积 - 每处理 100 个文件就
gc.collect()一次，尤其在 Windows 上效果明显 - 对超大目录（>50GB），先用
os.path.getsize()快速筛掉小于 10KB 的文件（基本不是有效图片），减少解码负担
真正麻烦的是 RAW 格式（.nef、.cr2）或超大 TIFF——PIL 默认不支持，得额外装 rawpy 或跳过。这类文件建议单独用专业工具处理，Python 脚本里直接过滤掉更稳妥。
