只换User-Agent根本没用，因为网站已通过Accept-Language、Sec-Fetch-*、连接行为等多字段交叉验证真实浏览器特征，需同步构造自洽请求头、动态延迟及IP行为一致性。
Python爬虫默认行为太“干净”——requests发请求时用的是固定User-Agent、无Referer、无Accept-Language、连接秒级完成、IP连续访问，这些组合起来就是标准机器人指纹。光加一个随机User-Agent远远不够，必须同步控制请求节奏和头部完整性。
为什么只换User-Agent根本没用
很多新手以为装个fake_useragent就万事大吉，结果跑几轮就被封。问题出在：网站早就不单看User-Agent了，它会交叉验证其他字段是否匹配真实浏览器行为。
-
User-Agent是Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36，但Accept头却是*/*（真实Chrome不会这么写） - 用了移动端UA，却带了桌面端才有的
Sec-Ch-Ua-Platform: "Windows" - 没有
Sec-Fetch-*系列头部（Chrome 84+强制发送），而现代浏览器几乎都带 - 同一IP下所有请求的
Accept-Language、Accept-Encoding完全一致，真人切换页面时会有微小差异
真正有效的请求头构造策略
不是“随机”，而是“有约束的拟真”。重点不是生成多少种UA，而是让整套头部逻辑自洽。
- 用
fake_useragent只取ua.chrome或ua.edge，避开已淘汰的IE或小众移动UA（它们反而更可疑） - 必须补全配套字段：
Accept、Accept-Language、Accept-Encoding、Connection、Upgrade-Insecure-Requests - 对支持
Sec-Fetch的站点，手动拼接：Sec-Fetch-Dest: document、Sec-Fetch-Mode: navigate、Sec-Fetch-Site: none、Sec-Fetch-User: ?1 - 每次请求动态生成
Accept-Language（如zh-CN,zh;q=0.9,en;q=0.8或en-US,en;q=0.9,ja;q=0.8），避免固定值
延迟不是“加sleep”就完事
固定time.sleep(2)比不加还危险——它暴露了程序化节奏。真实用户翻页时间服从长尾分布：多数操作在1–5秒，偶尔发呆15秒，甚至切窗口去回微信。
立即学习“Python免费学习笔记（深入）”；
- 用
random.uniform(1.2, 4.8)代替整数秒，避免整秒对齐（服务器日志里一眼可识别） - 对同一页内多个子请求（如图片、CSS、AJAX接口），用
random.gauss(0.3, 0.15)模拟自然加载间隔 - 每10–15次请求后，插入一次
random.uniform(8, 22)的长停顿，模拟用户思考或离开电脑 - 绝对不要在
try/except里无条件重试——连续失败后应暂停至少30秒，否则等于主动宣告“我在暴力探测”
最常被忽略的硬伤：IP + 头部 + 行为三者脱节
你用高质量UA、合理延迟，但所有请求都来自家庭宽带IP，且该IP前一小时刚被标记过“爬虫流量”，那前面所有努力白搭。反爬系统看的是综合置信度。
真实场景中，一个北京用户用Chrome访问电商首页，3秒后点搜索框，2秒后输入关键词并回车——这个序列包含IP地理位置、TLS指纹、HTTP/2流优先级、资源加载顺序、鼠标移动轨迹（如果走浏览器自动化）等数十个维度。纯requests只能覆盖其中3–5个。
所以当目标站点明显升级了WAF（如Cloudflare Enterprise、Akamai Bot Manager），别再死磕请求头，该切playwright或undetected-chromedriver3——不是因为它们“更强”，而是它们天然携带了更多不可伪造的浏览器上下文。
