用 net/http 发起 GET 请求时须自定义 http.Client 并设 Timeout（如 10 秒），禁用 http.Get()；必须调用 resp.Body.Close()；通过 req.Header.Set() 设置 User-Agent 等头；解析 HTML 优先选 goquery，超大页面用标准库 html.Parse()；反爬只需合理设基础请求头并控并发；提取数据需清洗空白与特殊字符，用 strconv 或 time.Parse() 安全转换，并全程加 nil 检查防 panic。
用 net/http 发起 GET 请求时要注意什么
Go 标准库的 http.Client 默认不带超时，直接 http.Get() 容易卡死或堆积 goroutine。必须显式设置超时，尤其在爬虫场景下。
实操建议：
立即学习“go语言免费学习笔记（深入）”；
- 永远用自定义
http.Client，配好Timeout（比如 10 秒）和Transport的连接复用参数 - 不要用
http.Get()简写——它无法控制重试、重定向次数、TLS 配置等 - 注意响应体必须手动
resp.Body.Close()，否则会泄漏 HTTP 连接 - 若需携带 Cookie 或 User-Agent，必须通过
req.Header.Set()显式设置，http.Get()不支持
解析 HTML 用 golang.org/x/net/html 还是第三方库
标准库 golang.org/x/net/html 是纯流式解析器，不构建 DOM 树，内存友好但写起来绕；而 github.com/PuerkitoBio/goquery（基于标准库 + jQuery 风格 API）更贴近实际爬取需求。
实操建议：
立即学习“go语言免费学习笔记（深入）”；
- 简单提取几个字段（如标题、链接）：用
goquery，代码量少、不易错，例如doc.Find("h1").Text() - 超大页面或严格控内存（如单机跑千级并发）：用标准库
html.Parse()手动遍历 Token，但需自己处理嵌套、命名空间、错误恢复 - 避免用正则直接匹配 HTML——标签换行、属性顺序、注释、CDATA 都会导致失效
-
goquery的Selection.Find()支持 CSS 选择器，但不支持伪类（如:nth-child）和复杂关系选择器（如div > p + span）
遇到反爬时，http.Client 怎么模拟真实请求
多数网站只校验基础请求头，极少做 JS 指纹或行为分析。重点不是“伪装得多像”，而是“别一眼被筛掉”。
实操建议：
立即学习“go语言免费学习笔记（深入）”；
- 至少设置
User-Agent和Accept头，例如：req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ...") - 部分站点检查
Referer或Accept-Language，可按需补上 - 不要盲目加太多头——某些站点会校验头字段数量或顺序，反而触发风控
- 需要维持登录态时，用
http.CookieJar，别自己拼Cookie字符串；net/http/cookiejar.New(nil)即可启用自动管理 - IP 封禁比头检测更常见，单机爬取请控制并发（如用
semaphore限 3–5 路）和间隔（time.Sleep(1 * time.Second)）
如何安全地提取结构化数据（比如价格、时间）
网页中目标字段常存在多种格式（空格、换行、单位符号、HTML 实体），直接 .Text() 易出错。得先清理再转换。
实操建议：
立即学习“go语言免费学习笔记（深入）”；
- 用
strings.TrimSpace()去首尾空白，再用strings.ReplaceAll()清除 、\u200b 等不可见字符 - 数字类字段（如价格）优先用
strconv.ParseFloat()或ParseInt()，别用fmt.Sscanf()——后者对格式敏感且难调试 - 时间字段别硬写正则，用
time.Parse()配标准 layout（如"2006-01-02"），失败时 fallback 到常见中文格式（如"2006年01月02日"） - 所有解析步骤都应有 nil 检查和 recover，例如
if priceSel.Length() > 0 { ... }，避免 panic 中断整个爬取流程
真正难的不是发请求或选元素，而是应对 HTML 结构突变——今天 div.product-price，明天变成 span.price-tag。稳定爬虫的核心不在技巧多炫，而在快速发现变更、定位差异、最小化修复范围。
