requests.get()返回乱码或空内容主因是编码识别错误，应优先用response.content配合chardet或charset_normalizer推测编码再解码；它无法获取JS渲染内容，需查源代码或抓取API；须设timeout、重试机制及正确Cookie/Referer等头信息。
直接用 requests.get() 拿到的 response.text 很大概率不是你浏览器里看到的 HTML —— 不是代码写错了，而是它根本没执行 JS，也没正确解码。
requests.get() 返回乱码或空内容，90% 是编码搞错了
requests 默认靠响应头里的 Content-Type 推断编码，但很多网站压根不写、写错，或者 <meta charset="utf-8"> 和实际字节不一致。结果就是 response.text 乱码、截断，甚至抛 UnicodeDecodeError。
- 别信
response.encoding或response.apparent_encoding，尤其对 GBK 网站，它常误判为 utf-8 - 优先用
response.content（原始字节），再手动解码：html = response.content.decode('utf-8', errors='ignore') - 想自动探测：装
chardet或charset_normalizer，encoding = chardet.detect(response.content)['encoding'] or 'utf-8' - 写入文件时必须显式指定
encoding='utf-8'，否则 Windows 下默认用cp1252，中文直接崩
为什么保存后打开是空白或样式错乱？
常见原因有两个：一是你用了 BeautifulSoup 解析后再保存，它默认剥离 <script>、<style> 和注释；二是没保留原始 HTTP 响应头里的字符集声明，导致浏览器解析失败。
- 如果目标是「完整保存」，跳过
BeautifulSoup，直接存response.content或修复后的字符串 - 非要用
BeautifulSoup处理再输出，初始化时加参数：soup = BeautifulSoup(html, 'lxml', preserve_whitespace_tags=['script', 'style']) - 检查原始 HTML 是否含
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">，确保写入文件后仍存在
requests 抓不到你想要的内容？先确认它是不是 JS 渲染的
打开浏览器，右键 →「查看页面源代码」（Ctrl+U），搜索你要的内容关键词。如果搜不到，但「元素」面板里有，说明是 JS 动态插入的 —— requests 永远拿不到。
立即学习“前端免费学习笔记（深入）”；
- 查 Network 面板，过滤 XHR/Fetch，找到返回 JSON 的接口 URL，直接用
requests.get()请求它，更轻、更快、更稳 - 真要等 JS 执行，换
selenium或playwright，但注意启动慢、内存高、容易被反爬识别 - 别在 requests 里硬加
time.sleep()等 JS 加载——它根本不执行 JS，等也没用
保存 HTML 文件时最容易被忽略的细节
很多人以为把字符串写进 .html 文件就完事了，其实关键在三处：字节流是否原样保留、编码是否全程统一、文件扩展名是否匹配浏览器预期。
- 用
response.content写文件最安全：with open('page.html', 'wb') as f: f.write(response.content) - 如果必须用
.text，务必保证response.encoding正确，且open(..., encoding='utf-8')和解码方式一致 - 不要用
.txt后缀保存 HTML，浏览器可能不按 HTML 渲染；也不要省略.html后缀，部分系统会拒绝双击打开
