本文介绍如何在 Pandas DataFrame 中高效识别并清空 cleaned_date 列中对应原始字符串（date_from）未显式包含有效年份（如 2019–2025）的记录，避免硬编码冗长条件，推荐使用正则表达式或向量化逻辑组合实现简洁、可维护、高性能的清洗逻辑。
本文介绍如何在 pandas dataframe 中高效识别并清空 `cleaned_date` 列中对应原始字符串（`date_from`）未显式包含有效年份（如 2019–2025）的记录，避免硬编码冗长条件，推荐使用正则表达式或向量化逻辑组合实现简洁、可维护、高性能的清洗逻辑。
在实际数据清洗任务中，常遇到类似场景：从非结构化日期文本（如 "21 JUNE 23.59"）中提取标准日期，但因原始文本缺失年份信息，导致解析器误补默认年份（如自动设为 2024），造成数据失真。此时需精准定位“无年份标识”的行，并将已错误填充的 cleaned_date 置为 None。手动罗列所有年份（2019, 2020, ..., 2025）并用多重 ~str.contains() 拼接不仅代码冗长、易出错，且难以维护和扩展。
✅ 推荐方案一：正则表达式（最简洁高效）
利用 str.contains() 的正则能力，一行即可覆盖年份范围与特殊值（如 'nan'）：
import pandas as pd
# 示例数据
df = pd.DataFrame({
'x': [1, 2, 3, 4, 5, 6],
'date_from': [
'21 JUNE 23.59',
'18TH JUN 23:59',
'01TH JULY (23.59 HRS)',
'28th June 2023',
'5TH MAY 2023',
'JUNE 27, 2023'
],
'cleaned_date': [
'2024-06-23', '2024-06-18', '2024-07-01',
'2023-06-28', '2023-05-05', '2023-06-27'
]
})
# ✅ 一行正则：匹配 'nan' 或 2019 / 2020–2025；取反后置 None
df.loc[~df['date_from'].str.contains(r'nan|(?:2019|202[0-5])', case=False, na=False), 'cleaned_date'] = None? 正则说明：
- nan：匹配字符串 'nan'（处理缺失值转为字符串后的场景）
- |：逻辑“或”
- (?:2019|202[0-5])：非捕获组，匹配 2019 或 2020–2025（202[0-5] 是高效缩写）
- case=False：忽略大小写（适配 JUNE/june）
- na=False：确保 NaN 值在 str.contains() 中返回 False，避免布尔索引报错
✅ 推荐方案二：动态条件组合（适合复杂逻辑或非正则场景）
若需保留显式年份列表（如从配置文件读取）、或后续需扩展其他规则（如排除特定月份），可用 numpy.logical_or.reduce 向量化构建条件：
import numpy as np
years = ['nan', '2019', '2020', '2021', '2022', '2023', '2024', '2025']
# 构建各年份的布尔 Series，再按行逻辑 OR 合并
contains_any = np.logical_or.reduce([
df['date_from'].astype('string').str.contains(year, case=False, na=False)
for year in years
])
# 取反：不包含任何有效年份 → 清空 cleaned_date
df.loc[~contains_any, 'cleaned_date'] = None⚠️ 关键注意事项：
- 永远启用 na=False：str.contains() 对 NaN 默认返回 NaN，会导致布尔索引失败；设 na=False 保证返回 False。
- 慎用 astype('str')：若列含 NaN，astype('str') 会转为字符串 'nan'，此时 str.contains('nan') 可能误匹配真实文本（如 'user_nan_id'）。优先用 astype('string')（pandas 1.0+）或直接依赖 str.contains(..., na=False) 处理空值。
- 性能对比：正则方案单次扫描，O(n)；列表推导 + logical_or.reduce 需对每个年份扫描全列，O(n×m)，年份多时正则更优。
- 扩展性建议：将年份范围封装为变量（如 valid_years = list(range(2019, 2026))），再生成正则 f'(?:{"|".join(map(str, valid_years))})'，兼顾可读与灵活性。
最终结果中，前三行因 date_from 不含任何指定年份（仅含 23.59 等时间片段），其 cleaned_date 被置为 None；后三行含明确年份（2023），保留原值。此方法彻底摆脱硬编码陷阱，兼具专业性、健壮性与工程可维护性。
