本文揭示了DataFrame.apply()在列上执行正则提取时返回大量NaN的常见原因——正则模式与实际数据格式不匹配，并提供可复用的健壮清洗方案。
本文揭示了`dataframe.apply()`在列上执行正则提取时返回大量`nan`的常见原因——正则模式与实际数据格式不匹配，并提供可复用的健壮清洗方案。
在使用 pandas.DataFrame.apply() 对字符串列进行正则清洗时，若结果中出现大量 NaN，往往并非代码逻辑错误，而是正则表达式与原始数据结构存在隐性错配。如问题所示：同一清洗逻辑（str.extract(r'([a-z\d]+\.[a-z\d]+)')）在基于 CSV 加载的 DataFrame 上失效，却在人工构造的列表转 DataFrame 上成功——根本原因在于：CSV 文件中的数值字段缺失小数点（.）。
观察原始 CSV 的首行：
0,1,573436862,3887259269
对应字段 X=573436862、Y=3887259269 —— 它们是整数形式的字符串，不含小数点；而你的正则 r'([a-z\d]+\.[a-z\d]+)' 强制要求匹配一个字面量 .（因 \. 是精确匹配），导致 str.extract() 无法捕获任何内容，最终返回 NaN。
相比之下，人工列表中的数据已带小数点：
['1', '573436.862', '3887259.269'] # ✅ 含 '.'
因此正则能成功匹配。
✅ 正确解法：放宽正则约束，支持整数与浮点混合格式
应改用能同时匹配整数（如 '573436862'）和浮点（如 '573436.862'）的模式，并统一提取纯数字部分：
import pandas as pd
import re
df = pd.read_csv('data.csv', index_col=[0])
# ✅ 推荐：先用更宽松的正则提取所有数字+小数点组合（允许无小数点）
def extract_numeric(s):
return s.str.extract(r'(\d+(?:\.\d+)?)', expand=False) \
.str.replace(r'[^\d.]', '', regex=True) \
.replace('', pd.NA) # 清理空字符串为 NA
out = df[['X', 'Y']].apply(extract_numeric)
out.index += 1或一步到位（更简洁）：
# 更鲁棒：直接提取首个连续数字块（含可选小数点）
pattern = r'(\d+(?:\.\d+)?)'
out = df[['X', 'Y']].apply(
lambda s: s.str.extract(pattern, expand=False).fillna('')
.str.replace(r'[^\d.]', '', regex=True)
.replace('', pd.NA)
)⚠️ 关键注意事项
- 避免过度依赖 \.：除非业务明确要求“必须含小数点”，否则应使用 (?:\.\d+)? 表示“可选的小数部分”；
- str.extract() 返回 NaN 是正常行为：它仅在匹配成功时返回捕获组，失败即 NaN，不是 bug；
- 优先用 str.extract() 而非嵌套 str.replace()：前者语义清晰、性能更好；后者易因多次替换引入空字符串等边界问题；
- 始终 .fillna('') 或 .replace('', pd.NA)：防止空字符串干扰后续数值转换（如 astype(float)）；
- 验证数据格式：加载 CSV 后快速检查 df[['X','Y']].sample(5).applymap(type) 或 df[['X','Y']].apply(lambda x: x.str.contains(r'\.').mean())，确认小数点覆盖率。
✅ 最终推荐清洗流水线（生产就绪）
def clean_coordinate_series(s: pd.Series) -> pd.Series:
"""安全提取坐标数值：兼容整数字符串、浮点字符串、含噪声文本"""
# 提取首个形如 "123" 或 "123.456" 的数字子串
extracted = s.str.extract(r'(\d+(?:\.\d+)?)', expand=False)
# 移除提取结果中可能混入的非数字字符（如末尾冒号、空格）
cleaned = extracted.str.replace(r'[^\d.]', '', regex=True)
# 转为浮点，自动处理空值
return pd.to_numeric(cleaned, errors='coerce')
out = df[['X', 'Y']].apply(clean_coordinate_series)
out.index += 1该方案兼具鲁棒性与可读性，能稳定处理含日期、单位、乱码等干扰文本的真实场景数据，彻底规避因正则过严导致的 NaN 泛滥问题。
