Go爬虫反反爬核心是避免触发防御规则，关键在请求层可控优化：合理设置User-Agent与Referer组合、补全浏览器必备Header、定制http.Transport禁用HTTP/2并替换TLS指纹、使用colly CookieJar精准管理Cookie、用rate.Limiter按域名限流、持续监控CF-RAY等响应信号反馈调优。
Go 爬虫要绕过反爬，核心不是“怎么伪装得更像人”，而是“怎么让请求不触发防御规则”。很多策略看似高级（比如模拟点击、执行 JS），但实际落地时成本高、稳定性差；真正有效的反反爬，集中在请求层可控、可批量调整的几个点上。
如何设置 User-Agent 和 Referer 才不被秒杀
多数网站只做基础 UA 检查，但会校验组合合理性。比如 User-Agent 是 Chrome 120，Referer 却是空或来自一个完全无关域名，立刻进风控队列。
- UA 必须从真实浏览器池里随机选，别硬写死一个；推荐用预定义 slice +
rand.Intn，避免每次 new 一堆字符串 -
Referer要和目标 URL 匹配：抓/news/123前，先 GET 一次/news/，把它的 URL 设为下个请求的Referer - 别漏掉
Accept、Accept-Language、Sec-Ch-Ua这类 Chromium 系必带 header；缺一两个就可能被识别为 curl 或脚本
为什么直接用 http.Client 容易被封 IP
标准库 http.Client 默认复用 TCP 连接、不带 TLS 指纹、HTTP/2 启用状态不稳定——这些都会在 WAF（如 Cloudflare）侧暴露非浏览器特征。
- 必须显式配置
http.Transport：禁用 HTTP/2（ForceAttemptHTTP2: false）、设置MaxIdleConnsPerHost: 100防连接耗尽 - 绕过 TLS 指纹检测，得换底层：用
github.com/zmap/zcrypto/tls或github.com/senghoo/golang-fingerprint替代原生crypto/tls - 别共用一个
http.Client实例打所有目标站——不同站点对 TLS 握手行为容忍度不同，混用会放大异常率
Cookie 和 Session 怎么管理才不露馅
网站靠 Cookie 判断是否“已登录”或“已通过人机验证”，但 Go 标准 cookiejar 不支持 domain 匹配逻辑定制，容易漏存或错存。
Golang Uber Dig
下载
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
立即学习“go语言免费学习笔记（深入）”；
- 用
colly自带的CookieJar（它基于net/http/cookiejar但做了路径/Domain 修正），别自己 new - 首次访问前手动注入可信 Cookie（比如从浏览器导出的
cf_clearance），用c.SetCookies(url, cookies) - 遇到
Set-Cookie带SameSite=Strict或Secure的，确认 transport 是否启用了 TLS；否则 cookie 会被静默丢弃
sleep 控制频率为什么经常失效
单纯 time.Sleep 只控制发起间隔，但真实瓶颈常在 DNS 解析、TLS 握手、服务端排队——你 sleep 了 2 秒，实际请求间隔可能是 8 秒，反而触发“低频慢速攻击”检测。
- 限流要落在连接层：用
golang.org/x/time/rate.Limiter包裹Do()调用，而不是放在 for 循环里 sleep - 对同一域名，建议按域名维度限流（
limiter := rate.NewLimiter(rate.Every(2*time.Second), 1)），不是全局统一节奏 - 如果目标站有登录态，优先用 session 复用（
client.Transport.(*http.Transport).DialContext加连接池），比反复建连更自然
最常被忽略的一点：反反爬不是一次性开关，而是持续反馈过程。你要记录每次响应的 CF-RAY、X-Served-By、重定向跳转链、body 是否含 “checking your browser” 字样——这些才是判断策略是否生效的真实信号，不是看 status code 200 就算成功。
