因为单页应用（SPA）的主体内容由JavaScript动态渲染，requests.get()仅获取初始HTML骨架，真实数据藏在后续API调用中。
为什么直接请求页面 HTML 拿不到单页应用的数据
因为单页应用（SPA）的主体内容通常由 JavaScript 在浏览器里动态渲染，requests.get() 这类 HTTP 客户端只拿到初始 HTML 骨架，真正的数据藏在后续的 API 调用里。你看到的列表、商品、用户信息，大概率是前端用 fetch 或 axios 从某个 /api/v2/items 之类的接口拉回来的。
常见错误现象：requests.get("https://example.com/app") 返回的响应里搜不到任何目标数据，但浏览器开发者工具的 Network 标签页里明明有带 JSON 的请求。
- 先打开浏览器开发者工具（F12），切到 Network → XHR / Fetch，刷新页面，找带 JSON 响应的请求
- 重点看
Request URL、Request Method（通常是GET或POST）、Headers（特别是Authorization、X-Requested-With、Cookie） - 有些接口会校验
User-Agent或Referer，缺了就返回 403 或空数据
如何用 requests 模拟 API 请求拿到真实数据
找到目标 API 后，用 requests 复现它，比写 Selenium 简单得多，也快得多。关键是把浏览器发的请求头和参数“抄”全，不是只复制 URL。
使用场景：目标网站没反爬或只有轻量级校验（如 Header 校验、简单 token），且 API 接口稳定、未加密。
立即学习“Python免费学习笔记（深入）”；
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
-
headers至少包含User-Agent和Referer，最好直接从浏览器复制整段Request Headers - 如果接口带查询参数（比如
?page=1&limit=20），用params=...传字典，别拼在 URL 里 - 如果是
POST且Content-Type: application/json，用json=...参数自动序列化并设 header - 注意
Cookie：登录态常靠它维持，抓包时若看到Set-Cookie，后续请求得带上
response = requests.get(
"https://api.example.com/v1/products",
params={"category": "electronics", "offset": 0, "limit": 50},
headers={
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36",
"Referer": "https://example.com/",
"X-Requested-With": "XMLHttpRequest"
}
)
data = response.json()
遇到 401 / 403 / 429 怎么办
这些状态码说明接口加了校验，不是单纯缺 header。401 是认证失败，403 是权限拒绝，429 是频率超限——背后往往是动态 token、时间戳签名、加密参数或滑块验证。
性能 / 兼容性影响：硬刚加密逻辑会极大增加维护成本；盲目加延时或换 IP 可能治标不治本，还拖慢整体速度。
- 先确认是否必须登录：检查请求是否依赖
Authorization: Bearer xxx，这个 token 是否有时效（比如 1 小时过期） - 看请求体或 URL 里有没有
sign、timestamp、nonce字段，这类通常需逆向 JS 找生成逻辑 - 某些接口用
localStorage存 token，得先用 Selenium 登录一次，再把document.cookie或localStorage.getItem("token")提出来给requests用 - 429 出现后别只加
time.sleep()，先查响应头里有没有Retry-After字段
哪些情况不能只靠抓 API
不是所有 SPA 都适合“直连 API”。当接口参数加密、响应混淆、或关键字段（如商品价格）被前端二次计算时，光靠 requests 就会漏数据或出错。
容易被忽略的地方：有些网站把分页总数藏在第一个 API 响应的 header 里（如 X-Total-Count），但实际数据字段被前端用 base64 或 XOR 混淆过；还有些接口返回的是 ID 列表，详情得再发 N 次请求，这时候批量并发控制和错误重试就变得很关键。
真要上无头浏览器时，别一上来就跑完整页面渲染，优先尝试用 page.evaluate() 直接调用页面已加载的 JS 函数提取数据，比等整个 DOM 渲染快得多。
