中文文本去噪必须先正则清洗再jieba分词，否则噪声污染词典导致错误切分；清洗需依次清除控制符、统一空白、过滤乱码，再分词并加载词典、关闭HMM、禁用自动新词。
直接说结论：中文文本去噪必须先正则清洗、再用 jieba 分词，不能反过来——否则噪声会污染词典、触发错误切分，比如把“123abc456”切出“123”“abc”“456”这种无意义碎片。
为什么不能先分词再清洗
jieba 默认按字符和已知词库做前向/双向最大匹配，对含噪声的原始文本极其敏感：
- 遇到邮箱（
user@domain.com）可能拆成“user”“@”“domain”“.com”，而@和.本该被整体过滤 - URL 中的斜杠、问号、参数（如
?id=123&type=pdf）会被当作独立 token，后续 TF-IDF 或 embedding 会严重失真 - 连续空格、制表符、零宽空格（
\u200b）会让jieba.lcut()返回空字符串或异常长度的 list，下游报IndexError
推荐的清洗—分词流水线顺序
按数据流严格串行，每步只解决一类问题：
- 第一步：用
re.sub()批量清除不可见控制符和冗余空白 —— 推荐正则r'[\x00-\x08\x0b\x0c\x0e-\x1f\x7f-\x9f\u200b-\u200f\u2028-\u202f\u2060-\u206f\ufeff]+'，覆盖常见零宽、换行异常、BOM - 第二步：统一空白为单个空格，再
.strip()—— 避免jieba把“你好 世界”（全角空格）误判为一个词 - 第三步：过滤纯数字、纯字母、混合乱码（如
asdf1234!@#）—— 用re.match(r'^[a-zA-Z0-9\W_]+$', text)判定后丢弃整句或替换为占位符 - 第四步：调用
jieba.lcut()，不建议用cut_for_search（会过度切分）、也不要用lcut_for_search（返回 list of list，难对齐）
jieba 分词前必须做的三件事
跳过这些，哪怕正则写得再全，分词结果依然不可靠：
立即学习“Python免费学习笔记（深入）”；
- 加载自定义词典：
jieba.load_userdict('my_dict.txt')，否则“微信支付”“大模型”这类新词会被硬切为“微信”“支付”“大”“模型” - 关闭
HMM模式（jieba.cut(text, HMM=False)）—— 对清洗后文本，HMM 反而容易把“苹果手机”错分为“苹果手”“机”，关掉更稳定 - 禁用
jieba自动添加新词（jieba.suggest_freq('xxx', tune=True)不要滥用），否则训练语料里的噪声词（如“qq123456”）会被记住并扩散
容易被忽略的边界情况
真实数据里高频但常被漏处理：
- 中英文混排标点：中文句号“
。”和英文句号“.”需统一替换，否则jieba会把“价格￥199.99。”切成“价格”“￥199”“.99”“。” - 全角数字与半角数字共存：正则
[０-９]（全角）和[0-9]（半角）要分开匹配，否则“第１章”里的“１”会被放过 -
jieba对 emoji 和颜文字无感知：像“?太棒了！”会被切为“?”“太棒了”“！”，若业务不需要 emoji，应在正则阶段用[\U0001F300-\U0001F6FF\U0001F910-\U0001F9FF]+清除
真正麻烦的从来不是某一步怎么写，而是清洗和分词之间那层隐含依赖——你永远不知道上一步残留的某个 Unicode 字符，会在下一步让 jieba 哪里突然崩出一个诡异切分。多打几次 repr(text)，比读十遍文档管用。
