乱码主因是response.content被错误解码为str后再传给BeautifulSoup，导致字节信息损坏；正确做法是直接传bytes并显式指定from_encoding参数，如soup = BeautifulSoup(r.content, 'html.parser', from_encoding='gb18030')。
乱码网页不是编码问题本身，而是 BeautifulSoup 没有正确识别或强制指定编码时，response.content 被错误解码成 str 后再喂给解析器——此时原始字节信息已损坏，再怎么调 BeautifulSoup 的 from_encoding 参数都无效。
先确认乱码是编码问题，不是网页本身内容异常
直接检查原始响应字节流，别急着用 response.text：
-
response.content[:100]看前 100 字节是否含可读中文（如b'\xe4\xbd\xa0\xe5\xa5\xbd'是 UTF-8 的“你好”） - 对比
response.headers.get('content-type')中的charset（如charset=gb2312），但别盲目信任——很多老站 header 是错的或缺失 - 用
chardet.detect(response.content)猜测真实编码（注意：对小文本不准，建议至少 1KB 以上）
用 raw bytes + 显式 encoding 初始化 BeautifulSoup
跳过 requests 自动解码环节，把字节流和你确认/猜测的编码一起传给 BeautifulSoup：
from bs4 import BeautifulSoup
import requests
<p>r = requests.get(url)</p><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记（深入）</a>”；</p><h1>❌ 错误：r.text 已被 requests 按错误编码转成 str</h1><h1>soup = BeautifulSoup(r.text, 'html.parser')</h1><h1>✅ 正确：用 content + 显式指定 encoding</h1><p>soup = BeautifulSoup(r.content, 'html.parser', from_encoding='gb18030')</p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/xiazai/skill8910" title="361SCAN security check your skill python scripts"><img
src="https://img.php.cn/upload/skill/000/000/081/179231049778675.jpg" alt="361SCAN security check your skill python scripts" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/xiazai/skill8910" title="361SCAN security check your skill python scripts">361SCAN security check your skill python scripts</a>
<p>扫描并分析已安装技能，用于查看指定技能目录的名称、描述和详情，或列出所有已安装的技能。</p>
</div>
<a href="/xiazai/skill8910" title="361SCAN security check your skill python scripts" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div><h1>或 'gb2312'、'utf-8'、'big5'，取决于实际检测结果</h1><p>关键点：from_encoding 参数只在传入 bytes 时生效；传 str 会直接忽略它。
遇到混合编码或 meta charset 不一致时强制重编码
有些网页在 <meta charset="gb2312"> 和实际 body 字节不匹配，或者部分 script 标签里塞了 UTF-8 编码的 JSON。这时需要分段处理：
- 先用
BeautifulSoup(r.content, 'lxml', from_encoding='gb18030')解析 DOM 结构 - 提取出疑似含乱码的
script或textarea文本节点后，单独用.encode('latin1').decode('utf-8')类似方式抢救（常见于 GBK 页面里混入 UTF-8 字符串） - 避免用
str.replace('', '')清洗——这是丢数据，不是修复
清洗结构化数据时优先用 .get_text() 而非 .string
.string 在节点含子标签或空白时返回 None，而 .get_text() 更鲁棒：
# 示例：<div>价格：<span class="price">¥99</span></div>
price_span = soup.find('span', class_='price')
# ❌ price_span.string → '¥99'（OK），但若里面还有 <em>就变成 None
# ✅ price_span.get_text(strip=True) → 总能拿到纯文本，且自动合并空白
另外，对提取后的字符串做 .replace('\u3000', ' ').strip() 可清理全角空格；用 re.sub(r'[\r\n\t]+', ' ', s) 压缩换行和制表符——这些操作必须在编码修复之后进行。
真正棘手的是那些没有明确 Content-Type、也没有 <meta charset>、且 chardet 对首屏 HTML 判定失败的页面——这时候得靠人工比对几个典型汉字的字节模式，或尝试用 iconv -f gbk -t utf-8 命令行辅助验证。编码一旦错，后续所有清洗都是在错误基础上叠楼阁。
