用Golang写爬虫需先用net/http发请求获取网页源码，再用goquery解析HTML并提取新闻标题、链接等信息，最后通过设置请求头、延时等策略应对反爬，实现数据采集。
用Golang写一个爬虫抓取新闻数据，核心是发送HTTP请求、解析HTML内容并提取目标信息。整个过程不复杂，只要按步骤来，很快就能看到效果。
发送请求获取网页源码
第一步是让程序能像浏览器一样打开新闻网站。Go语言自带的net/http包可以轻松实现这个功能。你只需要调用http.Get()方法，传入目标网址，就能拿到网页的原始数据。
实际操作时要注意几点：记得检查返回的状态码，确保请求成功；使用defer response.Body.Close()避免资源泄漏；设置合理的超时时间，防止程序卡死。下面是一个基础示例：
resp, err := http.Get(url)
if err != nil {
return "", err
}
defer resp.Body.Close()
if resp.StatusCode != 200 {
return "", fmt.Errorf("bad status: %s", resp.Status)
}
body, _ := io.ReadAll(resp.Body)
return string(body), nil
}
解析HTML提取新闻内容
拿到网页源码后，下一步就是从一堆HTML标签里找出新闻标题、链接和发布时间这些有用的信息。Go标准库没有提供类似jQuery的选择器，所以推荐使用第三方库goquery，它的用法和jQuery非常相似，学习成本很低。
立即学习“go语言免费学习笔记（深入）”；
先通过go get github.com/PuerkitoBio/goquery安装这个库。然后你可以用CSS选择器精准定位到新闻列表的DOM元素。比如，很多新闻站的标题都放在<h2></h2>或带有特定class的<a></a>标签里。代码大致如下：
生成可在 deepbi 沙箱 iframe 内运行或作为独立文件运行的交互式 HTML 页面，使用 `window.deepbi` JS SDK 实现数据查询、空间管理、文件浏览及用户操作。当用户提出以下需求时启用该能力： - 创建 KPI 仪表盘、数据表格、文件浏览器、成员列表、管理页面； - 明确要求“转成 dhtml”、“转译成 HTML”、“把 XX 页面转成……”、“控制台页面”、“管理后台”、“DeepBI 页面迁移”； - 提及位于 `apps/console/src/featur
if err != nil {
log.Fatal(err)
}
doc.Find(".news-list a").Each(func(i int, s *goquery.Selection) {
title := s.Text()
link, _ := s.Attr("href")
fmt.Printf("标题: %s, 链接: %s\n", title, link)
})
这样就能遍历所有匹配的元素，把新闻数据一条条提取出来。
处理常见问题和优化
在真实环境中，爬虫经常会遇到各种阻碍。比如有些网站会检查User-Agent，如果发现是程序访问就拒绝。解决办法是在请求头里加上一个常见的浏览器标识，伪装成正常用户。
另一个问题是反爬机制。为了避免被封IP，不要把请求速度设得太快，可以加个1-2秒的延迟。对于需要登录或处理JavaScript动态加载的页面，就得用更复杂的方案，比如集成Headless浏览器，但这会增加项目复杂度。
数据提取完成后，通常要把结果保存下来。你可以选择打印到控制台、写入文本文件，或者存进数据库，根据自己的需求来定。
基本上就这些。写爬虫的关键是动手实践，先从一个简单的静态新闻页开始，跑通流程，再逐步增加功能。调试时多打印中间结果，很容易就能发现问题所在。
