Requests需手动设置真实User-Agent（如Chrome最新版标识）并搭配Accept、Accept-Language及Sec-Ch-Ua等头部，配合Session复用连接与Cookie，才能有效模拟浏览器行为，避免403/406等反爬拦截。
Requests怎么加User-Agent不让网站直接拒绝
网站看到 requests 默认发出的请求，User-Agent 是 python-requests/2.xx.x，基本等于举手说“我是爬虫”，很多站点会直接返回 403 或空内容。必须手动覆盖这个字段，而且得选一个真实、常见、不过时的浏览器标识。
- 别用网上随便搜的老旧 UA（比如 IE6 或 Chrome 60），部分 CDN（如 Cloudflare）会校验 UA 的合理性，过老的可能被拦截
- 推荐从最新版 Chrome 或 Edge 的 DevTools → Network → 任意请求 → Headers → Request Headers 中复制
User-Agent值，粘贴进代码 - 写死一个 UA 可以，但长期运行建议轮换几个主流 UA，避免被行为分析盯上；简单场景用一个够用
- 示例：
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"}
除了User-Agent，还有哪些Headers大概率要一起带
光加 User-Agent 经常还不够。有些网站会检查 Accept、Accept-Language 甚至 Sec-Ch-Ua 这类 Chromium 特有头，缺了就返回 406 或跳验证码。
-
Accept和Accept-Language必带，值参考真实浏览器：例如"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"，"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8" - 如果目标站用的是较新 Chromium 内核（比如新版淘宝、知乎），
Sec-Ch-Ua、Sec-Ch-Ua-Mobile、Sec-Ch-Ua-Platform也得同步填上，否则可能被当成低可信度客户端 - 不要硬编码
Cookie头——除非你真需要维持登录态；乱加无效 Cookie 反而容易触发风控 - 示例完整 headers：
{"User-Agent": "...", "Accept": "...", "Accept-Language": "...", "Sec-Ch-Ua": '"Chromium";v="125", "Not.A/Brand";v="24"', "Sec-Ch-Ua-Mobile": "?0", "Sec-Ch-Ua-Platform": '"Windows"'}
为什么用Session比单次requests.get更稳
单次调用 requests.get() 每次都是全新 TCP 连接，没有 Cookie 上下文、没有连接复用，网站很容易识别为“非浏览行为”。用 requests.Session() 能自动管理 Cookie、复用连接、保持 headers 一致，更像真实用户连续点击。
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- Session 会自动保存服务器 Set-Cookie，后续请求自动带上，对需要登录或 CSRF Token 的页面很关键
- 复用底层连接（keep-alive），减少握手开销，也降低被限速的概率
- 设置一次 headers，整个 session 都生效：
s = requests.Session(); s.headers.update(headers)，不用每个请求都传 - 注意：Session 不是万能的，有些网站会校验 Referer 或请求间隔，光靠 Session 无法绕过
Requests模拟浏览器失败的典型错误现象和排查点
加了 headers 还返回空页、重定向到验证码页、或者状态码是 403/406/503，不是代码写错了，而是模拟不到位或触发了反爬机制。
立即学习“Python免费学习笔记（深入）”；
- 先用浏览器打开目标 URL，再用开发者工具对比 Network 里真实请求的全部 headers（尤其是
Referer、Sec-Fetch-*系列），缺哪个补哪个 - 检查响应内容是否含
"window.location"或"__cf_chl_rt_tk"—— 这代表被 Cloudflare 拦了，Requests 本身无法执行 JS 跳转或算挑战，得换方案（如 Playwright） - 用
response.status_code和response.headers.get("content-type")确认是不是真的拿到 HTML；有时候返回的是 JSON 或图片，但文件名看着像 HTML - 临时把 headers 里的
User-Agent换成你本机浏览器的，curl 测试一下：curl -H "User-Agent: ..." https://example.com，快速验证 UA 是否有效
UA 和 headers 是门槛，不是终点。真遇到 JS 渲染、滑块验证、指纹检测，Requests 就该让位给能执行环境的工具了——这点容易被忽略，但早认清能少踩两天坑。
