直接用colly.NewCollector()会漏抓页面，因其默认不启用重试、不处理重定向、不设User-Agent，遇302/403即放弃；真实网站多校验UA，无设置易被nginx拦截。
为什么直接用 colly.NewCollector() 会漏抓页面
默认配置下 colly.NewCollector() 不启用请求重试、不处理重定向跳转、也不自动管理 User-Agent，遇到 302 或 403 响应时直接放弃。真实网站多数会校验 User-Agent，没设的话大概率被 nginx 拦在第一层。
- 必须显式设置
c.UserAgent，比如c.UserAgent = "Mozilla/5.0 (X11; Linux x86_64)..." - 开启重定向支持：
c.AllowURLRevisit = true（否则重复 URL 被跳过）和c.MaxDepth = 3（防无限爬） - 加错误回调看哪步挂了：
c.OnError(func(r *colly.Response, e error) { log.Println("req failed:", r.StatusCode, e) })
并发控制不是调大 Async 就完事
c.Async = true 只是开启异步模式，真正限制并发数的是 c.Limit(&colly.LimitRule{DomainGlob: "*", Parallelism: 4})。不设这个，Colly 默认单协程串行发请求；设太大又容易触发目标站风控或本地文件描述符耗尽。
-
Parallelism: 2~6是较安全的起点，爬新闻站可设 4，爬电商详情页建议 ≤2 - 不同域名要分开限流：
&colly.LimitRule{DomainGlob: "*.github.io", Parallelism: 1} - 加点随机延迟比单纯限流更抗检测：
c.WithTransport(&http.Transport{...})配RoundTripper插入time.Sleep(100 * time.Millisecond)
OnHTML 提取不到内容？先检查响应编码和选择器语法
常见原因是网页返回的是 gzip 压缩内容但 Colly 没解压，或者 HTML 实际结构和你写的 "div.post-title" 对不上——浏览器渲染后的内容（比如 JS 注入的）OnHTML 根本看不到。
- 强制指定编码：
c.OnResponse(func(r *colly.Response) { r.Collector.UnifyUTF8 = true }) - 打印原始响应确认结构：
c.OnResponse(func(r *colly.Response) { fmt.Printf("body len: %d, first 200: %s\n", len(r.Body), string(r.Body[:min(200, len(r.Body))])) }) - 用
r.DOM.Find(...).Each(...)替代链式调用，避免空指针 panic；Find返回对象需用Len() > 0判断是否存在
如何安全地把结果存进 MySQL 而不崩掉连接池
每个 goroutine 直接开 sql.Open 会迅速打满数据库连接数，且 Colly 的回调函数本身就在 goroutine 里跑，不加控制就是并发插入。
立即学习“go语言免费学习笔记（深入）”；
- 全局复用一个
*sql.DB实例，调db.SetMaxOpenConns(10)和db.SetMaxIdleConns(5) - 写入逻辑包一层 channel + worker 模式，比如用
chan Item收集解析结果，另起 2~3 个 goroutine 消费并批量插入 - 避免在
OnHTML里做阻塞操作（如直接db.Exec），网络 IO + DB IO 叠加容易超时或死锁
事情说清了就结束。真正卡住你的往往不是并发模型，而是目标站反爬策略细节、HTTP 状态码语义理解、还有连接池和 channel 的边界条件。
