本文介绍如何在 Pandas DataFrame 中精准识别 date_from 列中未显式包含有效年份（如 2019–2025）的记录，并批量将对应行的 cleaned_date 设为 None；重点对比正则表达式单行写法与动态条件组合的向量化实现，兼顾简洁性与可维护性。
本文介绍如何在 pandas dataframe 中精准识别 `date_from` 列中**未显式包含有效年份（如 2019–2025）的记录**，并批量将对应行的 `cleaned_date` 设为 `none`；重点对比正则表达式单行写法与动态条件组合的向量化实现，兼顾简洁性与可维护性。
在数据清洗过程中，常遇到原始日期字符串格式混乱、年份信息缺失或隐含的问题。例如，输入数据中 date_from 列包含类似 "21 JUNE 23.59" 或 "18TH JUN 23:59" 的文本——它们虽含日月和时间，但未明确出现四位年份（如 2023），导致后续解析时 pandas 可能默认填充当前年或错误推断，污染 cleaned_date 字段。此时，需安全地将这些“年份信息不完整”的记录标记为无效（即设为 None），而非依赖模糊匹配或逐行循环（iterrows() 效率低且易出错）。
✅ 推荐方案一：正则表达式（简洁、高效、一行解决）
利用 str.contains() 的正则能力，用一个模式同时覆盖所有目标年份及 nan 字符串：
import pandas as pd
# 示例数据
df = pd.DataFrame({
'x': [1, 2, 3, 4, 5, 6],
'date_from': [
'21 JUNE 23.59',
'18TH JUN 23:59',
'01TH JULY (23.59 HRS)',
'28th June 2023',
'5TH MAY 2023',
'JUNE 27, 2023'
],
'cleaned_date': [
'2024-06-23', '2024-06-18', '2024-07-01',
'2023-06-28', '2023-05-05', '2023-06-27'
]
})
# ✅ 核心逻辑：若 date_from 不含 'nan' 且不含 2019 或 2020–2025，则置 cleaned_date 为 None
pattern = r'nan|(?:2019|202[0-5])'
df.loc[~df['date_from'].astype(str).str.contains(pattern, case=False, na=False), 'cleaned_date'] = None? 正则说明：
- nan → 匹配字符串 "nan"（注意：na=False 可避免 NaN 值引发警告，但此处显式匹配字符串更稳妥）；
- (?:2019|202[0-5]) → 非捕获组，匹配 2019 或 2020~2025；
- case=False → 忽略大小写（适配 JUNE/june）；
- ~... → 取反，即“不包含任一有效年份标识”的行才触发赋值。
执行后，前 3 行因无年份信息被清空，后 3 行保留原值，结果符合预期。
✅ 推荐方案二：动态条件组合（灵活、可读性强、易于扩展）
当需要支持非连续年份（如 2018, 2021, 2023, 2026）或运行时生成年份列表时，正则可能不够直观。此时推荐使用 numpy.logical_or.reduce 向量化组合多个 .str.contains() 条件：
import numpy as np
# 动态定义有效年份列表（支持任意顺序、跳年）
valid_years = ['nan', '2019', '2020', '2021', '2022', '2023', '2024', '2025']
# 构建布尔条件：date_from 是否包含任一有效标识
contains_any = np.logical_or.reduce([
df['date_from'].astype(str).str.contains(year, case=False, na=False)
for year in valid_years
])
# 取反后赋值：仅当完全不匹配任何有效标识时，清空 cleaned_date
df.loc[~contains_any, 'cleaned_date'] = None该方法优势在于：
- 逻辑清晰：年份列表独立于代码逻辑，便于配置管理；
- 零正则负担：避免复杂正则调试，适合团队协作；
- 完全向量化：无 Python 循环，性能媲美原生 pandas 操作。
⚠️ 注意事项与最佳实践
- 永远避免 iterrows() 或 apply(lambda x: ...) 进行此类过滤：既低效又违背 pandas 向量化设计哲学；
- astype(str) 是关键：确保 date_from 列含 NaN 或混合类型时仍能安全调用 .str. 方法；
- na=False 参数不可省略：防止 str.contains() 在遇到 NaN 时返回 NaN 导致布尔索引失效；
- 区分字符串 'nan' 与缺失值 pd.NA/np.nan：若原始数据含真实缺失，建议先统一处理（如 df['date_from'].fillna('')）再匹配；
- 验证正则边界：如需严格匹配独立年份（避免 20230 被误判），可用单词边界 \b2023\b，但本例中因年份前后多为空格/标点，基础模式已足够鲁棒。
综上，无论是追求极简的正则方案，还是强调可维护性的动态列表方案，核心思想一致：用向量化布尔索引替代硬编码多重条件，以声明式语法精准定位并修正数据缺陷。这正是 pandas 高效数据清洗的典型范式。
