用 merge + indicator=True 是最轻量可靠的方法，需设 how='outer'，_merge 列标出 'both'、'left_only'、'right_only'；列不一致或含 NaN/时区时间时，改用 concat + duplicated 或 DuckDB。
用 merge + indicator=True 一次性标出差异行
直接用 pandas.merge 的 indicator 参数是最轻量、最可靠的方法，尤其适合亿级以下的 DataFrame。它不依赖索引对齐，也不要求列名完全一致（可指定 on 或 left_on/right_on），且内存占用可控。
- 必须设置
how='outer'，否则漏掉只存在于某一边的行 -
_merge列值为'both'表示两表都存在，'left_only'和'right_only'分别表示仅左/右表有 - 若数据含重复行，
merge默认会做笛卡尔积式匹配，导致结果膨胀——先用drop_duplicates去重再比对更安全 - 示例：
diff = df1.merge(df2, on=['id', 'name'], how='outer', indicator=True, suffixes=('_l', '_r'))<br>only_in_df1 = diff[diff['_merge'] == 'left_only']
当列太多或类型不一致时，用 concat + duplicated 更鲁棒
如果两表列名不完全一致、存在不可哈希类型（如 list/dict）、或某些列含 NaN（merge 对 NaN 的等价判断较模糊），concat + duplicated 是更底层的兜底方案。
- 先统一列顺序、填充缺失列为
pd.NA，再用astype('string')或astype('category')统一类型（避免 object 列比较失效） -
concat([df1, df2], ignore_index=True)后，duplicated(keep=False)标出所有重复行；取反即得差异行 - 注意：该方法默认按全部列比对，若只想比特定列，需提前
subset=[...] - 性能提示：大表慎用
duplicated，它内部会构建哈希表，内存峰值可能达原始数据 2–3 倍
超大表（>10GB）别硬扛，拆成 chunk 或导出到 DuckDB
Python 进程内处理几十 GB 的 DataFrame 几乎必然 OOM。这时候强行优化 pandas 参数不如换工具链。
- 用
pd.read_csv(..., chunksize=N)分批读取 + 每批调用merge，但需自行维护状态（比如记录已出现的 key 集合），逻辑复杂且易出错 - 更推荐：把两表分别
to_parquet，然后用duckdb执行 SQL 差集——支持磁盘溢出、自动并行，10GB 表几秒出结果import duckdb<br>con = duckdb.connect()<br>con.execute("SELECT * FROM df1 EXCEPT SELECT * FROM df2").fetchdf() - 如果必须留在 pandas 生态，可用
dask.dataframe替代，但要注意：merge在 dask 中不支持indicator，得靠map_partitions手动拼接标志列
别忽略 NaN 和时区感知时间列的陷阱
看似简单的差异比对，90% 的“结果不对”都卡在这两类数据上。
立即学习“Python免费学习笔记（深入）”；
- pandas 认为
NaN != NaN，所以含 NaN 的行在merge或duplicated中不会被当作相同——统一用df.fillna(pd.NA)（不是np.nan）再比对 - 带时区的时间列（如
datetime64[ns, UTC]）和无时区列无法直接比较，会静默转为不同格式。务必先用dt.tz_localize(None)或dt.tz_convert('UTC')对齐时区 - 字符串列注意前后空格和大小写，
strip()和str.lower()建议作为预处理步骤固化下来
实际跑起来你会发现，真正耗时的往往不是算法本身，而是类型清洗和缺失值归一化——这些步骤没法跳过，但可以封装成一个 normalize_for_diff 函数复用。
