本文介绍如何在 pandas 中对含缺失值（nan）的多个日期列进行条件比较，筛选出满足“始终不小于基准日期”的最大有效日期，并按分组统一填充，兼顾数据清洗、时序逻辑与空值鲁棒性。
在实际数据分析中，常遇到多列日期需满足业务约束（如 cop_date 和 fat_date 必须 ≥ date），但原始数据中存在格式混乱、缺失值（NaN）甚至逻辑矛盾（如 cop_date < date）。直接使用 max() 或 numpy.maximum 会因 NaN 导致结果失效，而简单过滤又可能丢失分组上下文。以下是专业、可复用的解决方案：
✅ 核心步骤解析
-
统一日期类型：先将目标列转为 datetime64[ns]，确保后续比较可靠：
dates = ['date', 'cop_date', 'fat_date'] df[dates] = df[dates].apply(lambda x: pd.to_datetime(x, format='%d/%m/%Y', errors='coerce'))
⚠️ 使用 errors='coerce' 自动将非法日期转为 NaT（Not a Time），比硬编码格式更健壮。
-
构建逻辑掩码：识别违反约束的记录（即 cop_date < date 或 fat_date < date）：
m1 = df['cop_date'].lt(df['date']) # cop_date < date → True 表示违规 m2 = df['fat_date'].lt(df['date'])
-
按组保留合规最小值：对每个分组（如 ['id', 'ins_id']），仅保留满足约束的日期值，再取组内最小值作为该组统一修正值：
cols = ['id', 'ins_id'] df[['cop_date', 'fat_date']] = ( df.assign( cop_date=df['cop_date'].where(m1), # 违规则置为 NaT fat_date=df['fat_date'].where(m2) ) .groupby(cols)[['cop_date', 'fat_date']] .transform('min') # 每组内取非 NaT 的最小日期（即最保守的合规值） )✅ 此处 transform('min') 天然跳过 NaT，且保证同组所有行获得一致修正结果，避免逻辑歧义。
-
格式还原（可选）：若需输出为字符串格式（如 'DD/MM/YYYY'）：
df[dates] = df[dates].apply(lambda x: x.dt.strftime('%d/%m/%Y'))
? 注意事项与最佳实践
- 空值优先级：NaT 在 min() 中自动被忽略；若某组所有值均为 NaT，结果仍为 NaT，符合预期。
- 性能优化：对大数据集，建议先 df.sort_values(['id','ins_id']) 再分组，提升 transform 效率。
- 扩展性：可轻松扩展至更多日期列（如 exp_date, val_date），只需同步更新 dates 列表和 where() 赋值逻辑。
-
验证建议：执行后添加断言确保约束成立：
assert (~df['cop_date'].isna() & (df['cop_date'] >= df['date'])).all(), "cop_date violates constraint"
该方法兼顾严谨性与实用性，是处理金融、保险、供应链等强时效性业务数据的标准范式。
