go 原生 http 客户端无法执行 javascript，因此直接请求会获取到空 dom；需结合无头浏览器或逆向分析 ajax 接口，才能提取动态加载的内容。
go 原生 http 客户端无法执行 javascript，因此直接请求会获取到空 dom；需结合无头浏览器或逆向分析 ajax 接口，才能提取动态加载的内容。
在 Go 中爬取使用 AJAX（如 Vue、React 或 jQuery 动态渲染）的网站时，http.Get() 仅返回初始 HTML 文档——其中目标容器（如
）尚未被 JavaScript 填充，导致无法直接提取链接或结构化数据。这是因为 Go 的标准库不包含 JavaScript 运行时，无法模拟浏览器行为。✅ 可行方案对比
| 方案 | 原理 | 适用场景 | Go 生态支持 |
|---|---|---|---|
| 逆向分析 AJAX 接口 | 查看浏览器 Network 面板，定位真实数据接口（如 /api/posts），用 Go 直接调用并解析 JSON/XML | 接口稳定、无强认证/反爬 | ⭐⭐⭐⭐⭐（原生 net/http + encoding/json 即可） |
| 集成无头浏览器 | 启动 Chromium 实例（如通过 Chrome DevTools Protocol），等待 JS 执行完毕后抓取渲染后 DOM | 页面逻辑复杂、接口加密或未暴露 | ⭐⭐⭐（需 chromedp 或 rod 等第三方库） |
? 推荐首选：逆向 AJAX 接口（轻量、高效、可控）
- 在 Chrome/Firefox 中打开目标网站 → F12 → Network → 切换到 XHR / Fetch → 刷新页面；
- 找到填充 .content 的请求（关注响应内容是否含 或 URL 列表）；
- 复制该请求的 URL、Headers（尤其 User-Agent、Cookie、X-Requested-With）、Method 和参数；
- 在 Go 中模拟请求：
package main
import (
"io/ioutil"
"log"
"net/http"
"strings"
)
func main() {
client := &http.Client{}
req, _ := http.NewRequest("GET", "https://example.com/api/links", nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")
req.Header.Set("X-Requested-With", "XMLHttpRequest")
resp, err := client.Do(req)
if err != nil {
log.Fatal(err)
}
defer resp.Body.Close()
body, _ := ioutil.ReadAll(resp.Body)
log.Printf("Fetched links data: %s", strings.TrimSpace(string(body)))
}⚠️ 注意事项：
- 若接口需登录态，请复用浏览器中 Application → Cookies 的有效 session；
- 部分站点对 Referer 或 Token 校验严格，需完整复制请求头；
- 避免高频请求，添加 time.Sleep() 或使用限速中间件，遵守 robots.txt 与服务条款。
? 替代方案：使用 chromedp 渲染后抓取（适合不可逆向场景）
若接口高度动态、加密或依赖前端状态，可引入 chromedp：
go get github.com/chromedp/chromedp
示例：等待 .content 出现并提取所有 链接：
package main
import (
"context"
"log"
"github.com/chromedp/chromedp"
)
func main() {
ctx, cancel := chromedp.NewExecAllocator(context.Background(), chromedp.DefaultExecOptions[:])
defer cancel
ctx, cancel = chromedp.NewContext(ctx)
defer cancel
var htmlContent string
err := chromedp.Run(ctx,
chromedp.Navigate(`https://example.com`),
chromedp.WaitVisible(`.content`, chromedp.ByQuery),
chromedp.OuterHTML(`.content`, &htmlContent, chromedp.ByQuery),
)
if err != nil {
log.Fatal(err)
}
log.Println("Rendered HTML:", htmlContent)
}? 提示：chromedp 需本地安装 Chrome/Chromium；生产环境建议以 headless 模式运行，并设置超时与资源限制。
✅ 总结
- 优先逆向 API：更稳定、更快、更易维护，是专业爬虫的首选策略；
- 慎用渲染方案：仅当逆向失败且业务必需时采用，注意资源开销与稳定性；
- 永远尊重网站规则：检查 robots.txt、Terms of Service，合理设置请求间隔，必要时添加 robots.txt 解析逻辑。
通过组合 Go 的高并发能力与现代前端调试技巧，你完全可以构建健壮、合规的 AJAX-aware 网络爬虫。
