直接用 md5() 处理原始数据易同步失败，因字段顺序、空格、浮点精度、null/空字符串序列化不一致；应排序字段、规范数值与null处理、统一编码并建数据库唯一索引兜底。
为什么直接用 md5() 处理原始数据可能同步失败
很多同学一上来就对整条记录 json_encode() 后算 md5()，结果发现两边数据库同步时“明明内容一样却没去重”。根本原因是：字段顺序、空格、换行、浮点数精度、null 与空字符串的序列化表现不一致。比如 json_encode(['a'=>1,'b'=>2]) 和 json_encode(['b'=>2,'a'=>1]) 生成的字符串不同，MD5 自然不同。
实操建议：
立即学习“PHP免费学习笔记（深入）”；
- 统一先按字段名排序再拼接，例如：
ksort($data); $fingerprint = md5(implode('|', $data)); - 对数值类型强制转为字符串并限定小数位（如
round($val, 6)），避免0.1 + 0.2 !== 0.3带来的差异 - 显式处理
null，统一替换成'NULL'字符串，而非依赖json_encode()的默认行为 - 若含时间字段，确认是否需归一化到秒级（去掉毫秒）或转为 UTC 时间戳再参与计算
MySQL 中用 INSERT ... ON DUPLICATE KEY UPDATE 配合 MD5 索引去重
靠应用层判断是否重复再决定插入，容易在高并发下漏判。更稳的方式是把指纹作为唯一索引，让数据库兜底。
实操建议：
立即学习“PHP免费学习笔记（深入）”；
- 给目标表加一个
fingerprint字段（CHAR(32)足够存 MD5），并建唯一索引：ALTER TABLE `sync_table` ADD COLUMN `fingerprint` CHAR(32) AS (MD5(CONCAT_WS('|', `field_a`, `field_b`, `field_c`))) STORED, ADD UNIQUE INDEX `uniq_fingerprint` (`fingerprint`); - 注意 MySQL 5.7+ 才支持函数索引（
STORED虚拟列），低版本得在 PHP 层生成好fingerprint再插入 - 同步时用
INSERT INTO ... VALUES (...) ON DUPLICATE KEY UPDATE updated_at = NOW();，冲突即说明是重复数据 - 避免在
CONCAT_WS中混入可能为NULL的字段——它会整个返回NULL，导致所有行指纹相同；改用COALESCE(field, '')
PHP 中批量同步时如何避免内存爆掉
一次性读几千条数据全算完 MD5 再比对，memory_limit 很容易炸。尤其当每条记录含大文本字段时。
实操建议：
立即学习“PHP免费学习笔记（深入）”；
- 用
PDO::FETCH_ASSOC+yield流式处理源数据，边读边算指纹、边查目标库是否存在，不缓存全量数组 - 目标库查重别用
IN拼长列表，改用临时表或分批SELECT fingerprint FROM target WHERE fingerprint IN (?, ?, ?)（每次 ≤ 1000 个） - MD5 计算本身很快，但字符串拼接若含大字段，优先
unset()掉非关键字段（如content、description）再算指纹，除非业务要求它们参与去重 - 启用 OPcache 并关闭
debug_backtrace()类调试逻辑，这类调用会让md5()变慢数倍
跨系统同步时要注意字符集和大小写敏感性
同一个字符串在 UTF-8 和 GBK 下 md5() 结果完全不同；MySQL 默认的 utf8mb4_general_ci 索引对大小写不敏感，但 PHP 的 md5() 是严格区分大小写的。
实操建议：
立即学习“PHP免费学习笔记（深入）”；
- 所有环节强制统一为
UTF-8：PHP 文件编码、数据库连接charset=utf8mb4、mb_internal_encoding('UTF-8') - 若业务允许忽略大小写去重，PHP 层统一
mb_strtolower($str, 'UTF-8')后再拼接；数据库索引也得对应建在小写值上 - 检查 MySQL 表字段的 collation，确保
fingerprint列是utf8mb4_bin（二进制比较），否则'abc'和'ABC'可能被当成相同索引值 - 测试时用中文、emoji、带 BOM 的文件内容做样本，最容易暴露编码问题
真正难的不是算 MD5，而是让两端对“什么算重复”有一致定义。字段取舍、空值处理、编码边界、并发控制——这些细节没对齐，指纹再准也没用。
