正则过滤空白符应显式覆盖全角空格，优先用re.sub(r'[\s\u3000]+', ' ', s).strip()；去HTML标签推荐html.unescape()+BeautifulSoup；字符串转数字前需strip()并处理伪负号、占位符；日期解析用dateutil.parser.parse更容错；清洗链须按解码→去标签→去空白→清特殊符号→类型转换顺序执行。
正则过滤空白符：别用 re.sub(r'\s+', ' ', ...) 一刀切
抓取的文本常混着 、\u200b、\xa0、多个换行和制表符，re.sub(r'\s+', ' ', s) 会把所有空白塞成单空格，破坏段落结构或表格对齐。更糟的是，它会把中文全角空格（\u3000）漏掉。
- 优先用
re.sub(r'[\s\u3000]+', ' ', s).strip()，显式覆盖全角空格 - 若需保留换行分隔逻辑（比如新闻正文段落），改用
re.sub(r'[ \t\u3000]+', ' ', s)，只处理水平空白，跳过\n和\r - 注意
re.DOTALL不影响\s，但若正则里用了.匹配换行，得手动加 flag
去除 HTML 标签：别直接用 re.sub(r']+>', '', s)
正则删标签在简单场景快，但遇到 <script></script>、<style></style>、属性含 >（如 onclick="alert('>')" ）、注释或 CDATA 时必然翻车，且无法处理自闭合标签嵌套。
- 轻量清洗用
html.unescape()+BeautifulSoup(s, 'html.parser').get_text()，稳定且自动处理编码、实体、嵌套 - 若必须用正则（如流式处理大文本），至少加守卫：先
re.sub(r']*>.*?\1>', '', s, flags=re.DOTALL | re.IGNORECASE)清除危险块 -
lxml.html.fromstring().text_content()比 BeautifulSoup 快，但不自动解码 HTML 实体，得额外调html.unescape()
数据类型转换：字符串转数字前先 strip() 再判空
爬下来的数据看着是“123”，实际可能是“ 123 \n”或“ 456”，直接 int(s) 报 ValueError: invalid literal；更隐蔽的是“-”、“—”、“–”这类伪负号，或“N/A”、“暂无”等占位符。
- 统一前置清洗：
s = s.strip().replace('\u3000', ' ').replace('—', '-').replace('–', '-') - 数字转换加兜底：
float(s) if s.replace('.', '').replace('-', '').isdigit() else None不够——得用try/except，因为'1e5'合法但isdigit()返回 False - 日期字段别信
datetime.strptime()直接硬转，先用dateutil.parser.parse(s, fuzzy=True)容错更强，尤其面对“2024年3月”“3/15/24”混用
清洗链顺序错了，后面全白干
HTML 标签没清干净就正则过滤空白，可能把
<br>变成“
”，残留标签；数字字段里还带着“¥”或“万”，
int() 肯定崩。清洗不是线性流水，是带条件分支的管道。
立即学习“Python免费学习笔记（深入）”；
- 固定顺序：解码 HTML 实体 → 去标签 → 去空白（按需保留换行）→ 清理特殊符号（¥、%、万、亿）→ 类型转换
- 字段级定制：价格字段要删“¥”和“起”，但地址字段里的“¥”可能是错字，不能全局删
- 留痕比速度重要：清洗后加
assert isinstance(price, (int, float)) or price is None，早暴露隐性脏数据
最易被忽略的是编码残留——requests.get() 默认用 response.encoding 解码，但网页 <meta charset> 和 HTTP header 冲突时，response.text 已是乱码，后续所有清洗都在错误输入上运行。
