默认User-Agent易被封因服务器直接拦截python-requests标识,需用headers传入合法浏览器UA并轮换;fake-useragent需异常捕获fallback;还需补全Accept等基础头字段。

为什么默认User-Agent容易被封
Python的requests库默认使用User-Agent: python-requests/x.y.z,这类标识极容易被服务器识别为爬虫并返回403、空响应或验证码。很多站点(如知乎、豆瓣、新闻聚合页)在反爬中间件里会直接拦截该UA,甚至不进业务逻辑就拒绝连接。
这不是“运气不好”,而是明确的规则匹配——你得让请求看起来像真实浏览器发出的。
用headers参数传入合法UA字符串最直接
最常用也最可控的方式,是在每次requests.get()或requests.post()时显式传入headers字典。别写死一个UA,至少准备3–5个主流浏览器的最新UA轮换,避免高频请求暴露规律。
触发时机:保险代理人想留住客户并促使其续保、增购产品;‘如何在续保时阻止客户流失’,交叉销售/完善账户……
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"}- 把
headers作为函数参数传入,而不是全局变量,方便后续加随机化 - 注意:不要在
Session对象初始化时硬编码UA,否则整个会话都固定不变,反而更易被识别
用fake-useragent库自动获取UA要小心版本和网络问题
fake-useragent能动态抓取在线UA池,但新版(v1.4+)默认依赖https://www.useragents.me/,该站在国内经常超时或返回503,导致初始化失败、抛出fake_useragent.errors.FakeUserAgentError。
立即学习“Python免费学习笔记(深入)”;
- 安装后首次运行会缓存到本地
~/.fake_useragent.json,后续离线可用;但若缓存损坏或过期,仍会尝试联网更新 - 稳妥做法是加异常捕获,并 fallback 到预设列表:
from fake_useragent import UserAgent<br>try:<br> ua = UserAgent()<br> headers = {"User-Agent": ua.random}<br>except:<br> headers = {"User-Agent": random.choice(STATIC_UA_LIST)} - 别在循环内反复创建
UserAgent()实例——它内部有锁且初始化较重,单例复用即可
仅靠UA不够,必须配合其他基础反爬字段
只改User-Agent是最低限度操作。现代WAF(如Cloudflare、Akamai)会综合检查Accept、Accept-Language、Referer甚至Sec-Ch-Ua等Chromium系特有头。缺一两项可能触发JS挑战或IP限流。
- 至少补全:
Accept(text/html,application/xhtml+xml)、Accept-Language(zh-CN,zh;q=0.9,en;q=0.8)、Accept-Encoding(gzip, deflate) - 如果目标站有登录态或来源追踪,
Referer不能为空,否则部分接口直接400 -
Sec-Ch-Ua这类头只在Chrome/Edge新版本中出现,强行伪造可能引发校验失败,非必要不加

















