本文介绍使用 pandas 的 stack()、str.extractall() 和 str.fullmatch() 等向量化方法，从多列分号分隔字符串中精准提取形如 "data_数字"（如 data_123）的合法数据元素，并自动去重、排序后生成唯一有序列表。
本文介绍使用 pandas 的 stack()、str.extractall() 和 str.fullmatch() 等向量化方法，从多列分号分隔字符串中精准提取形如 "data_数字"（如 data_123）的合法数据元素，并自动去重、排序后生成唯一有序列表。
在实际数据清洗任务中，常需从多个结构松散的文本列（如以分号 ; 分隔的字符串）中提取符合特定格式的子元素，同时过滤掉空值（NaN）、空白、乱码或不匹配项。手动逐行遍历 + split + 正则校验虽可行，但效率低、易出错，且难以扩展。推荐采用 pandas 原生向量化操作，兼顾简洁性、性能与鲁棒性。
✅ 推荐方案一：stack() + str.extractall()（最简洁高效）
该方法直接对所有非空单元格应用正则提取，天然跳过 NaN 和空字符串，无需显式判断：
import pandas as pd
# 示例数据构建
df = pd.DataFrame({
'ID': ['01', '02', '03', '04'],
'Column_A': ['Data_1;Data_2;Data_3', 'Data_7', None, 'Garbage'],
'Column_B': ['Data_4;Data_5', 'Data_8;Data_9', None, 'Data_10;Data_11'],
'Column_C': ['Data_6', None, None, 'Data_12']
})
# 提取所有匹配项（返回 Series，索引为多级）
pattern = r'(Data_\d+)' # 匹配 Data_ 后接任意位数字
extracted = df.stack().str.extractall(pattern)[0] # [0] 取捕获组内容
# 转为去重、排序后的唯一列表
result_list = sorted(extracted.drop_duplicates().tolist())
print(result_list)✅ 输出：
['Data_1', 'Data_10', 'Data_11', 'Data_12', 'Data_2', 'Data_3', 'Data_4', 'Data_5', 'Data_6', 'Data_7', 'Data_8', 'Data_9']
? 优势说明：
- stack() 自动压平除索引外的所有列，忽略 NaN；
- str.extractall() 对每个字符串执行全局正则匹配（支持多次捕获），比 str.extract() 更适合含多个目标子串的场景；
- 整个流程无显式循环，纯向量化，处理万级行数据仍保持毫秒级响应。
✅ 推荐方案二：stack() + str.split().explode() + str.fullmatch()（更灵活可控）
当需严格匹配完整单词（避免 Data_123abc 被误捕获），或需额外预处理（如 strip 空格）时，此方案更稳妥：
# 拆分 → 展开 → 过滤 → 收集
s = df.stack().str.split(';').explode().str.strip().dropna()
valid_mask = s.str.fullmatch(r'Data_\d+') # 全字匹配，等价于 ^Data_\d+$
result_list = sorted(s[valid_mask].drop_duplicates().tolist())⚠️ 注意事项：
- 若原始数据中存在 Data_001、Data_1234 等变长数字，建议将正则升级为 r'Data_\d{1,4}' 或更通用的 r'Data_\d+'；
- 如需严格限定三位数字（如仅 Data_123 合法），请使用 r'Data_\d{3}'，并强烈建议添加单词边界：r'\bData_\d{3}\b'，防止 XData_123Y 被误匹配；
- explode() 会复制索引，若后续需溯源原始行列位置，可保留 stack() 返回的 MultiIndex 并用 reset_index(drop=True) 控制；
- 最终去重排序建议统一使用 sorted(set(...)) 或 pd.Series(...).drop_duplicates().sort_values().tolist()，确保结果稳定可复现。
✅ 最终整合代码（生产就绪版）
def extract_data_pattern(df, columns=None, pattern=r'Data_\d+', drop_duplicates=True, sort=True):
"""
从指定列中提取符合正则 pattern 的字符串元素
Parameters:
-----------
df : pd.DataFrame
columns : list of str, optional, default all non-ID columns
pattern : str, raw regex pattern (e.g., r'Data_\d{3}')
drop_duplicates : bool
sort : bool
Returns:
--------
list of str
"""
if columns is None:
columns = df.select_dtypes(include='object').columns.tolist()
subset = df[columns]
extracted = subset.stack().str.extractall(f'({pattern})')[0]
result = extracted.dropna()
if drop_duplicates:
result = result.drop_duplicates()
if sort:
result = result.sort_values()
return result.tolist()
# 使用示例
final_list = extract_data_pattern(
df,
columns=['Column_A', 'Column_B', 'Column_C'],
pattern=r'\bData_\d{1,4}\b' # 容忍 1–4 位数字，且为独立单词
)
print(final_list) # 输出唯一、有序、合规的数据列表通过以上方法，您可在一行核心逻辑内完成多列、多分隔符、多匹配项的精准提取，彻底告别嵌套 for 循环与手工容错，大幅提升数据清洗的可靠性与可维护性。
