本文介绍如何使用 pandas 高效识别并复制以问号、句号或感叹号结尾的行，同时生成对应无标点的副本，适用于文本预处理、数据增强等场景。
本文介绍如何使用 pandas 高效识别并复制以问号、句号或感叹号结尾的行，同时生成对应无标点的副本，适用于文本预处理、数据增强等场景。
在自然语言处理或文本分析任务中，常需对带标点的句子进行数据扩充——例如，将 "Hi!" 同时保留原样和去标点形式 "Hi"，以增强模型对句式变体的鲁棒性。Pandas 提供了简洁高效的向量化操作来实现这一需求，无需循环，全程基于布尔索引与字符串方法。
核心思路分三步：
- 筛选目标行：使用 .str.endswith() 检测 msg 列是否以 '?'、'.' 或 '!' 结尾（注意：该方法接受元组作为参数，支持多字符匹配）；
- 构造副本：对筛选出的子集，用 .str[:-1] 移除末尾单个字符（假设仅末尾存在一个标点，且无空格干扰）；
- 合并结果：通过 pd.concat() 将原始 DataFrame 与处理后的副本纵向拼接，保持原有索引并自动重排。
以下是完整可运行示例：
import pandas as pd
# 构造示例数据
df = pd.DataFrame({
'msg': ['hello', 'hi!', 'What?', 'OK.', 'test'],
'label': [1, 0, 2, 3, 4]
})
# 步骤1：筛选以 ?, ., ! 结尾的行
mask = df['msg'].str.endswith(('?', '.', '!'))
punc_rows = df[mask].copy() # 显式 copy 避免 SettingWithCopyWarning
# 步骤2：移除末尾标点（安全起见，推荐使用 str.rstrip() 或正则更健壮）
punc_rows['msg'] = punc_rows['msg'].str[:-1]
# 步骤3：合并原始数据与新增副本
result = pd.concat([df, punc_rows], ignore_index=True)
print(result)输出：
msg label 0 hello 1 1 hi! 0 2 What? 2 3 OK. 3 4 test 4 5 hi 0 6 What 2 7 OK 3
✅ 注意事项与优化建议：
- .str.endswith(('?', '.', '!')) 比链式调用 .str.endswith('?') | ... 更高效且可读；
- 若字符串末尾可能存在空格（如 "hi! "），.str[:-1] 会误删空格而非标点，此时应改用正则：
punc_rows['msg'] = punc_rows['msg'].str.replace(r'[?.!]$', '', regex=True)
- 使用 ignore_index=True 可重置索引，避免重复索引影响后续操作；
- 对于大规模数据，该方案时间复杂度为 O(n)，远优于 apply() + lambda 循环。
掌握此技巧，你就能在数据清洗阶段快速构建带/不带标点的平行语料，为下游任务提供更丰富的训练样本。
