用Go写URL爬虫需控制并发、处理重定向、规避反爬、解析HTML并防无限抓取：用net/http发请求（设超时、UA、禁自动重定向），goquery解析DOM，sync.WaitGroup与chan协调任务流，信号量限并发，map去重，url.Join转绝对路径。
用 Go 语言写一个 URL 爬虫并不难，关键是控制并发、处理重定向、规避反爬、解析 HTML 结构，并避免陷入无限抓取。核心在于：用 net/http 发请求，goquery 或 html 包解析 DOM，配合 sync.WaitGroup 和 chan 管理任务流。
基础 HTTP 请求与响应处理
Go 自带的 net/http 足够发起 GET 请求。注意设置超时、User-Agent（绕过基础封锁）、禁用自动重定向（便于手动控制跳转逻辑）：
- 创建自定义
http.Client，设置Timeout防止卡死 - 在
req.Header.Set("User-Agent", "...")中填入常见浏览器 UA - 设
CheckRedirect为func(req *http.Request, via []*http.Request) error { return http.ErrUseLastResponse }来拦截重定向，自己决定是否跟进 - 检查
resp.StatusCode是否为 200/304，非 2xx 响应建议跳过或记录错误
HTML 解析与数据抽取
推荐使用 github.com/PuerkitoBio/goquery —— 它像 jQuery 一样支持 CSS 选择器，比标准库 html 包更直观：
Convert Markdown To HTML And PDF - Markdown和HTML、PDF互转
下载
实现 Markdown↔ HTML 互转，支持导出 PDF，用于用户请求的文档格式转换。
- 用
goquery.NewDocumentFromReader(resp.Body)加载响应体 -
doc.Find("a[href]").Each(func(i int, s *goquery.Selection) { ... })提取所有链接 -
s.Attr("href")获取属性值，s.Text()获取文本内容 - 对结构化数据（如商品标题、价格），用精确选择器如
doc.Find(".product-title").Text() - 注意相对 URL：用
url.Join(baseURL, href)转为绝对地址
并发控制与去重机制
盲目开 goroutine 容易被封或压垮目标站点。需限制并发数 + 全局 URL 去重：
立即学习“go语言免费学习笔记（深入）”；
- 用带缓冲的 channel（如
sem := make(chan struct{}, 10)）作为信号量，每次协程开始前sem ，结束时 <code> - 用
map[string]bool或sync.Map（并发安全）记录已访问 URL，防止重复抓取 - 将待抓取 URL 放进队列（如
chan string），主 goroutine 持续消费，新发现的链接再推入队列（BFS 模式） - 可加简单延迟：
time.Sleep(300 * time.Millisecond)，模拟人工访问节奏
健壮性与日志记录
真实场景中网络不稳定、页面结构变化、编码异常很常见，必须做容错：
- 用
defer resp.Body.Close()防止文件描述符泄漏 - 用
charset.NewReaderLabel(resp.Body, resp.Header.Get("Content-Type"))处理中文乱码（需引入golang.org/x/net/html/charset） - 所有关键操作（请求、解析、入库）用
recover()或 if err != nil 包裹，打印错误但不中断整体流程 - 用
log.Printf或轻量库（如zerolog）记录成功/失败 URL、耗时、状态码，方便调试和监控
