直接用response.text保存HTML会乱码，因其依赖不可靠的encoding推导链（响应头>meta标签>chardet），且解码结果缓存后无法更新；应改用response.content手动解码，按响应头→HTML meta→charset_normalizer顺序确定编码，并以errors='replace'容错，写入文件时显式指定encoding。
为什么直接用 response.text 保存 HTML 会乱码
因为 response.text 是 requests 自动调用 response.content.decode(response.encoding) 的结果，而 response.encoding 的推导顺序是：响应头 Content-Type 中的 charset > HTML 中的 <meta> 标签 > chardet 推测。任意一环出错（比如服务器不写 charset、老站声明 utf-8 实际发 gbk），response.text 就不可信；且一旦访问过 .text，requests 就缓存了解码结果，后续改 encoding 也无效。
用 response.content 手动解码才是可控路径
必须跳过 .text，全程操作原始字节流 response.content：
- 先从响应头提取编码：
re.search(rb'charset=([^;]+)', response.headers.get(b'content-type', b'')) - 再查 HTML 前 10KB 的
<meta>：re.search(rb'<meta>]+charset=["\']?([^"\'>]+)', response.content[:10240]) - 最后 fallback 到
charset_normalizer（比chardet更准）：from charset_normalizer import from_bytes; r = from_bytes(response.content); encoding = r[0].confidence > 0.7 and r[0].encoding or 'gb18030' - 解码时必须加
errors='replace'或errors='ignore'，防止非法字节中断整个流程：html = response.content.decode(encoding, errors='replace')
保存文件时 encoding 参数不能省
即使字符串本身已正确解码为 str，写入文件时若不显式指定 encoding，Python 在 Windows 上默认用 cp1252，一写中文就崩：
- 存 HTML 文件：
with open('page.html', 'w', encoding='utf-8') as f: f.write(html) - 如果原始网页是
gbk编码，又想存成 UTF-8 文件，别绕弯：text_gbk = response.content.decode('gbk'); text_utf8 = text_gbk.encode('utf-8').decode('utf-8') - 存 CSV 给 Excel 打开，必须用
encoding='utf-8-sig'，否则首列多出\ufeff
别用 BeautifulSoup 中转保存完整 HTML
BeautifulSoup 默认会剥离 <script>、<style>、HTML 注释，甚至重排标签结构，导致本地打开后功能异常或样式错乱：
立即学习“前端免费学习笔记（深入）”；
- 目标是「完整保存」，就别过 BS —— 直接存
response.content或修复后的html字符串 - 非要用 BS 处理再保存，初始化时必须加参数：
soup = BeautifulSoup(html, 'lxml', preserve_whitespace_tags=['script', 'style']) - 注意：BS 解析后调用
soup.prettify()会进一步破坏原始格式，慎用
真正麻烦的不是解码逻辑，而是网页编码声明和实际字节流长期不一致——尤其是国内老站，meta 写 utf-8 却发 gbk 字节，这种“自欺欺人”必须靠手动 fallback 和容错解码兜底。
