反爬核心是识别非人类行为，需模拟真实浏览器：完善请求头、随机User-Agent、设置Referer、复用Session、添加延时；验证码优先绕过或调用打码平台；长期采集须分站定制策略、监控响应、使用住宅代理、多技术栈组合。
理解反爬机制的核心逻辑
网站反爬不是单纯阻止Python请求，而是通过识别“非人类行为”来过滤流量。关键点在于：请求头缺失、访问频率异常、缺少浏览器环境特征、未处理动态渲染内容、忽略验证码交互。真实用户会带完整的User-Agent、Referer、Cookie，会滚动页面、点击按钮、等待资源加载；而简单requests直接请求，就像穿着睡衣去银行办业务——一眼被识破。
模拟真实浏览器请求的实用方法
用requests发请求容易被封，升级为selenium或playwright更稳妥，但开销大；折中方案是精细化构造requests + session，配合随机化与延时：
- 每次请求更换User-Agent（用fake_useragent库随机生成）
- 设置Referer为该站点前一页URL，避免“空降式”访问
- 复用Session对象，自动携带Cookie，模拟会话连续性
- 在请求间加入0.5–3秒随机延时（time.sleep(random.uniform(0.5, 3))）
- 必要时添加Accept、Accept-Language、Sec-Ch-Ua等现代浏览器常见header
应对图片/滑块/点选类验证码的处理思路
验证码不是必须破解，优先考虑绕过或合作解决：
- 能跳过就跳过：检查登录是否支持扫码、短信、第三方授权；有些接口未登录也可调用，只是限流
- 交由人工或打码平台：对低频任务，用打码平台API（如超级鹰、云打码）上传图片，返回识别结果，成本几毛钱一次，省时可靠
- 本地简单识别仅限场景可控：纯数字+字母无干扰的图片可用pytesseract + OpenCV二值化预处理；但滑块缺口匹配、中文点选、极验v3等务必放弃自研，投入产出比极低
- 逆向JS参数是高阶手段：分析浏览器请求，定位生成sign、token、ts等参数的JS逻辑，用execjs或PyExecJS执行，而非硬编码固定值
保持长期稳定采集的关键习惯
反爬是持续对抗过程，稳定比快更重要：
立即学习“Python免费学习笔记（深入）”；
- 为每个目标站点单独维护请求策略（headers模板、延时范围、重试次数、代理轮换规则）
- 主动监控响应状态：HTTP 412、429、503或返回“验证中”“请稍候”页面，要立即暂停并切换IP或账号
- 使用高质量住宅代理池（如Bright Data、Smartproxy），避免IDC出口IP被批量拉黑
- 记录每次请求的response.headers和关键response.text片段，便于快速定位拦截变化点
- 不依赖单一技术栈：requests适合静态页，selenium处理登录态，Playwright兼顾性能与兼容性，按需组合
