本文介绍一种向量化、可读性强的方法，利用布尔掩码一次性识别并移除满足“部分列匹配+空值视为通配符”条件的行，避免低效逐行迭代，显著提升大规模数据处理效率。
本文介绍一种向量化、可读性强的方法，利用布尔掩码一次性识别并移除满足“部分列匹配+空值视为通配符”条件的行，避免低效逐行迭代，显著提升大规模数据处理效率。
在实际数据清洗中，常需根据人工审核生成的规则表（如 remove_df）从主数据表（如 target_df）中批量剔除异常行。关键挑战在于：规则表中的 NaN 应被解释为“任意值”（即通配符），仅对非空字段施加精确匹配约束。例如，规则 {'id_1': '1', 'id_2': '2', 'attr': NaN} 应匹配所有 id_1=='1' 且 id_2=='2' 的行，无论 attr 值为何。
原始方案使用 for 循环 + 多次 result_df = result_df[~mask]，不仅产生大量中间副本，还因重复索引和视图复制导致性能下降。更优解是一次性构建全局布尔掩码（mask），再执行单次布尔索引：
from functools import reduce
from operator import or_
def build_removal_mask(target_df, remove_df):
def match_row(row):
# 提取当前规则行中非空字段及其对应列名
valid_mask = row.notna()
valid_cols = row.index[valid_mask]
valid_values = row[valid_mask]
# 对 target_df 对应列进行逐行等值比较（axis=1），再要求全部匹配
return target_df[valid_cols].eq(valid_values, axis=1).all(axis=1)
# 将每条规则产生的布尔序列用逻辑或（OR）合并：任一规则匹配即标记为 True
return reduce(or_, (match_row(row) for _, row in remove_df.iterrows()))
# 应用
mask = build_removal_mask(target_df, remove_df)
result_df = target_df[~mask]✅ 优势说明：
- 向量化内核：.eq(..., axis=1) 和 .all(axis=1) 全部基于 NumPy 向量运算，避免 Python 层循环开销；
- 内存友好：不修改原 target_df，仅生成一个布尔数组 mask（长度 = len(target_df)），空间复杂度 O(n)；
- 逻辑清晰：每条规则独立生成匹配掩码，reduce(or_, ...) 直观表达“满足任一删除条件即移除”；
- 扩展性强：支持任意数量的匹配列（不限于 3 列），新增列只需确保 remove_df 与 target_df 列名一致。
⚠️ 注意事项：
- remove_df 中的 None 或 np.nan 必须为浮点型 NaN（Pandas 默认），若为字符串 'None' 需先转换：remove_df = remove_df.replace('None', np.nan)；
- 若 remove_df 规则数达数千条，建议改用 merge + indicator=True 方案（预先展开通配符为全集），但对数百条规则，本方法已足够高效；
- 确保两 DataFrame 相关列数据类型一致（如 '1' 字符串 vs 1 整数），否则 .eq() 比较将恒为 False。
该方法兼顾可读性与性能，是 Pandas 中实现“条件通配符过滤”的推荐实践。
