requests.get()突遭403或断连主因是请求头暴露脚本特征，如默认User-Agent、缺失Accept/Accept-Language、Sec-Ch-Ua校验等；需抓包复用完整请求头、轮询多组headers、用Session保持Cookie与Referer匹配，并针对Cloudflare等中间件选用cloudscraper或按需启用浏览器自动化。
为什么 requests.get() 突然被 403 或直接断连
不是服务器崩了，大概率是请求头暴露了脚本特征。默认的 requests User-Agent 是 python-requests/2.xx，多数反爬系统第一眼就毙掉。光换 UA 不够——现代风控会校验 Accept、Accept-Language、Sec-Ch-Ua 等一整套组合是否“像真人浏览器”。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 用真实浏览器抓包（比如 Chrome DevTools → Network → 刷一次页面），复制完整请求头，粘贴进
headers字典，别手敲 UA 就完事 - 必须包含
Accept（如text/html,application/xhtml+xml）和Accept-Language（如zh-CN,zh;q=0.9），缺一可能触发轻量级拦截 - 遇到带
Sec-前缀的头（如Sec-Ch-Ua），别硬删——有些站点只校验是否存在，不校验值；可复用抓包得到的整段字符串 - 避免所有请求共用同一套 headers，尤其高频率时，可准备 3–5 组不同 UA + 对应语言/编码组合，轮询使用
如何让 session 模拟登录后保持合法上下文
登录接口返回 Set-Cookie 后，后续请求没带上对应 Cookie，或 Cookie 过期/签名失效，就会卡在跳转页或返回未登录态。更隐蔽的问题是：某些站点要求 Cookie 和 Referer、Origin 严格匹配，甚至校验请求时间戳。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 务必用
requests.Session()，不要每个请求都新建requests.get()，否则 Cookie 不继承 - 登录成功后，立刻用
session.cookies.get_dict()检查关键字段（如PHPSESSID、token）是否写入，空值说明登录失败或被重定向到错误页 - 后续请求必须带
Referer（设为登录成功后的跳转页 URL），否则部分站点拒绝响应 - 如果登录页有隐藏字段（如
csrf_token），必须先GET登录页解析出值，再 POST 提交，漏掉就 400
遇到 Cloudflare / Imperva / Akamai 怎么绕过基础验证
这些不是“封 IP”，而是插在流量路径上的中间件，首次访问会返回一段 JavaScript 挑战或 5s 等待页，然后种下加密 Cookie。普通 requests 拿不到最终页面，因为没执行 JS、没处理跳转逻辑。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 先确认是不是真被拦：用
curl -v请求，看响应头有没有cf-ray、server: cloudflare，或者 body 里含Checking your browser before accessing - 简单场景（低频、非关键数据）可用
cloudscraper库替代requests，它自动处理 CF 的 JS 挑战，但注意版本兼容性——cloudscraper>=1.2.60才支持较新 CF 指纹 - 别用
selenium或playwright处理所有请求，太重；仅对必须过 JS 挑战的目标页启用，其他页面仍走requests+ 合法 headers -
cloudscraper默认禁用重试，遇到超时得手动加scraper.get(url, timeout=15)，否则容易卡死
高频请求下如何避免被识别为爬虫
连续请求间隔太短、IP 复用过多、TLS 指纹雷同，都会让风控模型打高分。哪怕 headers 完美，也扛不住行为分析。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 请求间隔不能只靠
time.sleep()，要加随机抖动，比如random.uniform(1.2, 3.8)，固定 2 秒反而更可疑 - 单个 IP 每小时请求别超 200 次，尤其对搜索页、列表页这类敏感路径
- 用
requests.adapters.HTTPAdapter配置连接池和重试策略，避免因网络抖动触发异常重试（比如默认重试 3 次，可能瞬间发 4 个请求） - 如果用代理，确保代理本身 TLS 指纹不统一——很多免费代理池所有连接都用同一 OpenSSL 版本和扩展顺序，会被识别为集群流量
最麻烦的不是某一个 header 写错，而是多个合法性信号之间存在隐式耦合：UA 版本得匹配 Sec-Ch-Ua 里的 Chrome 版本，Cookie 有效期得和 Referer 时间戳逻辑自洽，TLS 握手参数得贴近真实浏览器。调通一个请求不等于通了全部，得按目标站点的实际响应反推它到底在验什么。
