真正可用的代理池需支持失效检测、轮换策略与请求隔离，而非简单堆砌IP；本地部署维护成本高，第三方API更适配短期爬取或MVP验证；requests中须正确配置proxies字典、认证格式及timeout，并验证出口IP与响应一致性。
直接用 requests 加单个代理很容易被识别并封禁，真正能跑起来的代理池必须支持失效检测、轮换策略和请求隔离——不是简单堆代理IP就能用。
代理池服务选型：本地部署还是第三方 API？
本地搭 ProxyPool 或 scrapy-rotating-proxies 看似自由，但维护成本高：IP 失效快、需要自己写验证逻辑、并发下容易卡死；第三方如 ProxyCrawl、ScraperAPI 提供自动轮换和状态反馈，适合短期爬取或 MVP 验证。
- 若目标网站有严格指纹检测（如 Cloudflare），优先选带
session保持和 UA/JS 渲染支持的商用服务 - 本地部署仅推荐用于内网测试或可控环境，必须搭配
redis做代理队列 + 定时验证脚本（用HEAD请求检查200和响应头X-Forwarded-For） - 注意商用服务的计费粒度：按请求数、并发数还是 IP 池大小，
scraperapi.com的免费额度常卡在1000 req/day，超限后直接返回429
requests 中正确使用代理池的三个关键点
多数人卡在代理没生效或连接超时，本质是没处理好协议匹配、认证格式和连接复用。
-
proxies字典必须同时包含http和https键，哪怕代理只支持一种协议——否则requests默认 fallback 到直连 - 带认证的代理格式必须为
http://user:pass@host:port，不能拆成auth=(user, pass)，后者在代理场景下会被忽略 - 务必设置
timeout（建议 ≤ 10s）并捕获requests.exceptions.ProxyError和ConnectTimeout，否则一个坏代理会让整个请求队列阻塞 - 避免复用
Session实例跨不同代理——它会缓存 DNS 和 TCP 连接，导致后续请求仍走旧代理
如何判断代理是否真生效且未被污染？
光看状态码 200 不够，很多代理返回缓存页或重定向到广告页，需主动验证出口 IP 和响应一致性。
立即学习“Python免费学习笔记（深入）”；
- 每次请求后立即调用
http://httpbin.org/ip（或类似可信接口），比对响应中origin字段与代理 IP 是否一致 - 记录每次请求的
response.url，若频繁出现https://example.com/robots.txt或跳转到非目标域名，说明代理已被目标站标记为恶意 - 对关键字段做哈希（如页面
<title>内容），连续 3 次相同哈希值即标记该代理为“污染”，从池中剔除
代理池真正的难点不在获取 IP，而在持续识别“看起来可用、实际已失效”的中间节点——它们可能返回 200，但内容被篡改、延迟超高或携带追踪 header。上线前至少用真实目标 URL 跑满 2 小时压力测试，而不是只测 httpbin。
