实际项目中必须用自定义http.Client：设Timeout防卡死，设User-Agent防403，配Transport复用连接；解析HTML须用golang.org/x/net/html而非正则；并发需限速控频；结果应存JSON Lines格式。
用 net/http 发起 GET 请求，别直接上 http.Get
直接调用 http.Get 看似简单，但无法设置超时、User-Agent、重试逻辑，遇到反爬或网络抖动就挂。实际项目中必须用 http.Client 自定义实例：
- 总是显式设置
Timeout，比如10 * time.Second，避免协程卡死 - 通过
req.Header.Set("User-Agent", "...")模拟浏览器，否则很多站点返回 403 - 如果需要复用连接，记得设置
Transport的MaxIdleConns和MaxIdleConnsPerHost
示例片段：
client := &http.Client{
Timeout: 10 * time.Second,
Transport: &http.Transport{
MaxIdleConns: 100,
MaxIdleConnsPerHost: 100,
},
}
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36")
resp, err := client.Do(req)
解析 HTML 用 golang.org/x/net/html，不是正则也不是 strings.Contains
HTML 是嵌套结构，用字符串匹配或正则提取标题、链接极易出错——比如标签换行、属性顺序变化、注释干扰都会让提取失败。标准做法是用 golang.org/x/net/html 构建节点树：
- 用
html.Parse解析响应体（注意传入resp.Body前确保状态码是 200） - 遍历节点时重点判断
node.Type == html.ElementNode，再检查node.Data是否为"a"或"title" - 属性需遍历
node.Attr切片，用attr.Key == "href"提取链接，别硬索引
常见坑：没调用 resp.Body.Close() 会导致文件描述符耗尽；解析前没检查 resp.StatusCode，404 页面照样解析，结果为空。
立即学习“go语言免费学习笔记（深入）”；
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
并发抓取要控速，别无脑开 go routine
一次性启动上百 goroutine 请求不同 URL，容易触发目标站限流、本地端口耗尽（TIME_WAIT），甚至被拉黑。必须做速率控制：
- 用带缓冲的 channel 当令牌桶，比如
sem := make(chan struct{}, 5)控制最多 5 个并发 - 每个请求前
sem <- struct{}{}，结束后<-sem - 对同一域名，建议加
time.Sleep(100 * time.Millisecond)避免密集请求（除非明确允许）
注意：不要在循环里直接 go func(url string) { ... }(url)，变量 url 会被闭包捕获同一地址，导致所有 goroutine 处理最后一个值 —— 正确写法是传参或用 let url = url 类思路（Go 中需显式赋值新变量）。
保存结果时优先选结构化格式，别只写文本文件
爬下来的数据如果只用 fmt.Fprintln 写进 .txt，后续清洗、去重、导入数据库会非常痛苦。建议默认输出为 JSON 行格式（JSON Lines）：
- 每行一个 JSON 对象，方便
cat data.jsonl | jq '.url'或 Python 流式读取 - 用
json.NewEncoder(file).Encode(item)直接序列化结构体，避免手动拼接 - 字段名保持小写+下划线（如
page_title），兼容多数数据库和分析工具
真正难的不是发请求或提内容，而是处理重定向循环、JavaScript 渲染页、登录态维持、Robots.txt 遵守、IP 轮换这些边界情况——它们不会出现在“简单爬虫”教程里，但上线后第一个报错往往就来自这儿。
