加User-Agent仍被封因设置太假：固定不变、格式老旧、缺少Accept等配套头，且部分站点依赖JS渲染、行为指纹等。应使用更新及时的UA池并补全请求头，配合Referer、Cookies、随机延迟和代理池。
为什么加了User-Agent还是被封？
很多同学以为只要写个 User-Agent 字符串就万事大吉，结果一跑就被 403 或直接断连。根本原因不是没设，而是设得太假：固定不变、格式老旧、和真实浏览器行为脱节。服务器一看这个 User-Agent 从不变化、又没带 Accept、Accept-Language 等配套头，立刻标记为爬虫。
- 固定值（比如一直用 Chrome 最新版）会被风控系统识别为脚本行为
- 只设
User-Agent不设其他关键请求头，等于“穿西装不系扣子” - 部分站点还会校验
Sec-Ch-Ua、Sec-Fetch-*等 Chromium 新增头字段
怎么生成靠谱的随机User-Agent？
别手写列表，也别用过时的第三方库（比如老版本 fake-useragent 已停更且 IP 被大量滥用）。推荐两个轻量可控方案：
- 用
requests-html自带的user_agent属性（需启动渲染上下文，稍重但真实） - 更推荐：直接维护一份精简、更新及时的 UA 池，来源取自 whatismybrowser.com 的最新统计，只保留 Win/macOS + Chrome/Firefox/Safari 主流组合
- 每次请求前用
random.choice()挑一个，再补全配套头：Accept、Accept-Language、Accept-Encoding
示例片段：
headers = {
"User-Agent": random.choice(ua_pool),
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Language": "en-US,en;q=0.5",
"Accept-Encoding": "gzip, deflate",
"Connection": "keep-alive",
"Upgrade-Insecure-Requests": "1",
}
哪些站点光靠User-Agent根本没用？
像知乎、淘宝、微博这类平台，早就不看 User-Agent 了。它们依赖 JS 渲染、行为指纹、Token 验证或登录态。这时候硬塞 UA 只会让错误更隐蔽——你收到的是 200 响应，但 HTML 里全是空容器或加密 script。
Secure Python Code Sandbox
下载
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
立即学习“Python免费学习笔记（深入）”；
- 返回内容含大量
document.write、eval(或window._sharedData结构？说明要执行 JS - 响应中出现
__jsl_clearance_s=或ak_bmsc=这类字段？代表有反爬中间件（如奇安信、百度云加速） - 抓包发现请求带
X-Requested-With: XMLHttpRequest却返回 400？说明后端校验了 referer 或 token
绕过拦截真正该优先检查什么？
比换 UA 更重要的是确认请求链路是否“像人”。很多人卡在第一步就错了：
- 没加
time.sleep()或使用指数退避，连续请求触发频率规则 - 没处理 cookies，导致 session 失效或被重定向到登录页
- 用了代理但没轮换 IP，一个出口 IP 被打上标签后，换 UA 也没用
- SSL 证书验证没关（
verify=False），但某些中间件会故意发异常证书试探客户端容错能力
真正稳定的策略是：UA + Referer + Cookies + 随机延迟 + 代理池，四者缺一不可。少一个，就可能在第 17 次请求时突然失效。
复杂点在于，不同目标站的“像人”标准不一样——有的认 headers，有的认鼠标轨迹，有的只认登录态。别指望一套配置走天下。
