用Go写简易爬虫的核心是HTTP请求+HTML解析+数据提取+节奏控制，推荐http.Client与goquery组合，注意限速、编码识别、反爬应对及代理支持。
用 Go 写一个简易爬虫不难，核心是发 HTTP 请求 + 解析 HTML + 提取数据 + 控制请求节奏。不需要框架也能快速跑起来，关键是理清流程、避开常见坑（比如被封、乱码、JS 渲染）。
基础组件：http.Client + goquery 是黄金组合
Go 标准库的 net/http 足够发起请求，搭配第三方库 goquery（类似 jQuery 的 HTML 解析器），就能轻松定位元素。安装只需：
go get -u github.com/PuerkitoBio/goquery
示例：抓取某新闻列表页的标题
立即学习“go语言免费学习笔记（深入）”；
DeepBI DHTML 页面生成器
下载
生成可在 deepbi 沙箱 iframe 内运行或作为独立文件运行的交互式 HTML 页面，使用 `window.deepbi` JS SDK 实现数据查询、空间管理、文件浏览及用户操作。当用户提出以下需求时启用该能力： - 创建 KPI 仪表盘、数据表格、文件浏览器、成员列表、管理页面； - 明确要求“转成 dhtml”、“转译成 HTML”、“把 XX 页面转成……”、“控制台页面”、“管理后台”、“DeepBI 页面迁移”； - 提及位于 `apps/console/src/featur
- 用 http.Client 设置超时和 User-Agent，避免被秒拒
- 用 goquery.NewDocumentFromReader 加载响应体，不用先保存 HTML 文件
- 用 Find("h3 a") 这类选择器提取链接或文本，再调 Text() 或 Attr("href")
控制并发与频率：别让目标服务器“报警”
直接 for 循环狂发请求容易触发风控，甚至被拉黑。推荐用带缓冲的 goroutine 池 + time.Sleep 限速：
- 用 chan struct{} 做信号量，限制同时最多 3–5 个请求在跑
- 每次请求后 time.Sleep(1 * time.Second)，模拟人工间隔
- 对同一域名做更细粒度限速（如每秒 1 次），可用 rate.Limiter（golang.org/x/time/rate）
处理常见问题：编码、重定向、反爬提示
真实网页常有陷阱：
- 响应头没声明 charset？用 charset.NewReaderLabel（来自 golang.org/x/net/html/charset）自动识别 GBK/UTF-8
- 网站强制跳转登录页？检查 resp.Header.Get("Location") 或响应 body 是否含 “login”、“verify” 字样
- 返回 403 或空内容？大概率 User-Agent 太简单，换成主流浏览器 UA 字符串（如 Chrome 最新版）
进阶可选：支持简单 JS 渲染或代理切换
纯 Go 不执行 JS，但多数静态内容已够用。真需要渲染，可外接 headless Chrome（用 chromedp 库），不过会显著增加复杂度。代理方面：
- 设置 http.Transport 的 Proxy 字段即可走 HTTP/SOCKS5 代理
- 配合轮换代理池（如从文件读 IP:Port 列表），能进一步降低被封风险
- 注意代理本身稳定性——失败时要重试或跳过，别卡死整个爬虫
基本上就这些。写个小爬虫十几分钟能跑通，重点不在技术多炫，而在理解目标站点结构、尊重 robots.txt、控制节奏、留好日志。跑稳了再加去重、入库、定时任务也不迟。
