response.text与浏览器显示不一致，主因是网页依赖JavaScript动态渲染或响应编码未正确解析；requests仅获取原始HTML且默认解码可能出错，导致空白、乱码或缺内容。
直接用 requests.get() 拿到的 response.text 经常和浏览器里看到的不一样，不是代码写错了，而是网页用了 JavaScript 渲染，或者编码没对上——保存前不处理这两点，存下来的 HTML 很可能空白、乱码、缺内容。
为什么 response.text 和浏览器看到的不一样
多数静态页面没问题，但只要网页靠 fetch()、axios 或 Vue/React 动态注入内容，requests 就只能拿到骨架 HTML，JS 执行后的结果它根本看不到。另外，服务器响应头里常不写 Content-Type: text/html; charset=utf-8，requests 就默认用 ISO-8859-1 解码，中文全变 。
- 现象：存完打开是空页、大量 、列表或按钮完全没渲染出来
- 判断方法：对比
response.content[:200]和response.text[:200]，如果后者全是乱码或截断，基本就是编码问题 - 别改
response.encoding后再读.text——它不可靠；优先用response.content手动解码
保存 HTML 时怎么避免乱码和崩溃
Windows 上用 open(..., 'w') 不指定 encoding，默认走 cp1252，一写中文就报 UnicodeEncodeError；Linux/macOS 虽然常默认 utf-8，但不显式声明仍不保险。
- 必须写
encoding='utf-8'，且加errors='replace'或'ignore'防止个别异常字节中断写入 - 推荐解码方式：
html = response.content.decode('utf-8', errors='replace') - 如果不确定编码，装
chardet：import chardet; encoding = chardet.detect(response.content)['encoding'] or 'utf-8'，再 decode - 别用
response.text直接写文件——它底层已按错误编码转过一次，再写等于错上加错
要不要用 BeautifulSoup 处理后再保存
如果你目标是「完整保存网页，双击能正常打开、样式和脚本都还在」，那千万别先喂给 BeautifulSoup。它默认会丢掉 <script>、<style>、HTML 注释，甚至重排缩进，本地打开后 JS 不执行、CSS 不加载、页面崩掉。
立即学习“前端免费学习笔记（深入）”；
- 纯保存源码：跳过 BS，直接
with open('page.html', 'w', encoding='utf-8') as f: f.write(html) - 必须用 BS 做清洗或提取后再存：初始化时加参数
preserve_whitespace_tags=['script','style']，解析器选'lxml'，否则注释和空格全丢 - 想保留原始字节流（最稳妥）：直接
with open('page.html', 'wb') as f: f.write(response.content)，不用 decode/write，之后用浏览器打开也完全一致
遇到 JS 渲染页面怎么办
不是所有动态页都得上 selenium。先看 Network 面板里有没有独立的 XHR/Fetch 请求返回 JSON 或 HTML 片段——那种直接 requests.get() 抓接口更稳、更快、更难被反爬。
- 用 Chrome DevTools 的 Network → XHR 过滤，刷新页面，找带数据的请求 URL
- 复制它的 Headers（尤其是
Cookie、Referer、User-Agent），用requests.get(url, headers=headers)直接调 - 真要等 JS 执行完才有的内容，再考虑
playwright（比selenium启动快、内存低、API 更现代）；selenium仅用于老系统或需真实用户交互场景 -
playwright示例：from playwright.sync_api import sync_playwright; with sync_playwright() as p: browser = p.chromium.launch(); page = browser.new_page(); page.goto(url); html = page.content(); browser.close()
最易被忽略的一点：很多人存完 HTML 就以为完事了，但网页里的相对路径资源（图片、CSS、JS）在本地打不开——这不是 Python 的问题，是网页本身依赖服务端路径。如果真需要「离线可运行」，得额外下载并重写这些链接，那已经是另一个层级的工程了。
