Python网页抓取乱码主因是response.content解码编码错误；应禁用response.text，优先用content字节流，结合meta标签提取、chardet检测（截取10KB以上）及utf-8/gbk/gb2312回退解码。
Python 抓网页遇到乱码，大概率是 response.content 解码时用了错误的编码，而不是响应头或 HTML 中声明的编码。手动猜编码既慢又不可靠，chardet 是最实用的自动检测方案——但它不是万能的，用错时机或方式反而会让乱码更顽固。
为什么直接用 response.text 会乱码？
Requests 默认用 ISO-8859-1 解码 response.content 得到 response.text，而这个默认值和绝大多数中文网页（UTF-8、GBK）都不匹配。即使响应头里有 Content-Type: text/html; charset=utf-8，Requests 也只在 header 明确且可信时才用它，很多网站 header 缺失或写错。
实操建议：
- 永远优先用
response.content（原始字节），而不是response.text - 禁用 Requests 自动解码：
response = requests.get(url, headers=headers, timeout=5)后不要碰.text - 把编码检测逻辑放在
.content之后、解码之前
用 chardet.detect() 检测字节流，但别信返回的 confidence
chardet.detect() 返回的是一个字典，其中 encoding 字段是推测结果，confidence 是置信度——但这个值对小文本（比如只检测前 1000 字节）经常虚高，尤其对 GBK/GB2312 和 UTF-8 混合内容容易误判为 utf-8（实际是 gbk）。
立即学习“Python免费学习笔记（深入）”；
实操建议：
- 检测前先截取足够长的字节（至少 10KB）：
chardet.detect(response.content[:10000]) - 如果
detect()返回None或confidence < 0.7， fallback 到常见中文编码列表逐个试解码 - 优先尝试
utf-8→gbk→gb2312→big5，跳过ISO-8859-1（它几乎总导致乱码） - 示例判断逻辑：
detected = chardet.detect(content[:10000]) enc = detected['encoding'] if not enc or detected['confidence'] < 0.7: for enc in ['utf-8', 'gbk', 'gb2312']: try: content.decode(enc) break except UnicodeDecodeError: continue
HTML meta 标签里的 charset 比 chardet 更可靠，但得自己解析
很多网页在 <meta charset="gbk"> 或 <meta http-equiv="Content-Type" content="text/html; charset=utf-8"> 里明确写了编码，这比字节分析更权威。但 Requests 不会自动读取它，必须手动提取。
实操建议：
- 用正则快速提取（不依赖完整 HTML 解析器）：
import re meta_match = re.search(rb'<meta[^>]+charset[^\>]*["\']([^"\']+)["\']', content[:2000], re.I) if meta_match: declared_enc = meta_match.group(1).decode('ascii', 'ignore').strip() - 若提取成功，优先用
declared_enc解码；若失败，再走chardet+ fallback 流程 - 注意：正则要在
bytes上运行，匹配结果也是bytes，需转成字符串再用
真正麻烦的不是检测不到编码，而是检测结果相互冲突：header 说 utf-8，meta 说 gbk，chardet 说 windows-1252。这时候得按优先级硬编码规则（meta > header > chardet），并准备好 fallback 机制——否则脚本一遇到冷门站点就卡死。
