HTML中文乱码90%是编码未对齐所致，需优先验证文件BOM、HTTP响应头charset及<meta>标签三者是否统一为UTF-8（无BOM）或GBK等实际编码，再解码解析。
直接说结论：乱码 HTML 提取文本失败，90% 是编码没对齐，不是正则或解析器的问题。 你用 BeautifulSoup 或 lxml 读出来一堆 ，不是库坏了，是它根本没猜对源文件用的是 GBK、GB2312 还是带 BOM 的 UTF-8。得先“破译”再提取。
怎么快速识别 HTML 文件的真实编码？
别靠眼睛猜，也别全信 <meta charset="UTF-8"> —— 它可能写错了，也可能压根没生效。真实编码藏在三处：
- 文件开头几个字节（BOM）：
file -i filename.html（Linux/macOS）或用xxd -l 8 filename.html看前 8 字节；ef bb bf= UTF-8 with BOM，ff fe= UTF-16 LE - HTTP 响应头：
curl -I http://example.com/page.html查Content-Type字段里的charset=值 - HTML 内部
<meta>标签：但只在<head>开头 1024 字节内有效；位置错（比如写在<title>后面）就失效
Python 中用 chardet 检测并解码 HTML 字节流
chardet 不是万能的，尤其对短文本或 GBK/GB2312 混合内容容易误判。要加兜底逻辑：
anything-to-html
下载
将调研报告、方案对比、数据分析、需求梳理、会议纪要、设计说明、代码评审、学习笔记等任务产物输出为可在浏览器直接打开的单文件 HTML，替代 Markdown 作为最终交付物。Markdown 在信息密度、视觉清晰度和可分享性上已跟不上 AI 产物的丰富度，HTML 能同时承载排版、表格、SVG 等。
- 先读原始字节（
open(..., 'rb')），别用encoding参数直接开 - 用
chardet.detect(html_bytes)得到推测编码，但强制 fallback 到gbk或gb2312（中文老网页高频） - 尝试用推测编码解码，捕获
UnicodeDecodeError，换 fallback 编码重试 - 示例关键片段：
import chardet
<p>with open('page.html', 'rb') as f:
raw = f.read()</p><p>detected = chardet.detect(raw)
enc = detected['encoding'] or 'gbk' # fallback
try:
text = raw.decode(enc)
except UnicodeDecodeError:
text = raw.decode('gbk', errors='replace') # 替换乱码字符
提取文本时，编码错误导致标签解析失败怎么办？
即使解码成功，如果原始 HTML 是 GBK 编码但被当 UTF-8 解析，<p>你好</p> 可能变成 <p>��</p>，BeautifulSoup 会把 当成普通文本节点，无法定位结构。解决办法：
立即学习“前端免费学习笔记（深入）”；
- 确保传给
BeautifulSoup的是已正确解码的str（不是bytes），且明确指定from_encoding参数（如BeautifulSoup(text, 'html.parser', from_encoding='gbk')） - 若仍解析异常，先用
html.unescape()处理实体（如 - 避免用
response.text（requests 默认按响应头 charset 解码）—— 如果响应头错标了charset=iso-8859-1但实际是 GBK，必须手动覆盖：response.content.decode('gbk')
最易被忽略的一点：提取后保存为新文件时，open(..., 'w', encoding='utf-8') 是必须的。否则用系统默认编码（Windows 上常是 GBK）写入，下次打开又乱。
