本文介绍如何在 go 语言中准确提取网页中对用户可见的纯文本（排除 css、javascript、注释等不可见内容），推荐使用 goquery 库实现高效、可靠的 dom 文本抽取。
本文介绍如何在 go 语言中准确提取网页中对用户可见的纯文本（排除 css、javascript、注释等不可见内容），推荐使用 goquery 库实现高效、可靠的 dom 文本抽取。
在 Web 数据抓取或内容分析场景中，仅遍历 HTML 节点并筛选 html.TextNode 类型（如原生 golang.org/x/net/html 解析器）往往不够——它会将 <style>、<script> 内的原始文本、HTML 注释甚至 CDATA 块一并返回，导致结果混入大量非可视内容，严重影响后续处理。
更可靠的方式是模拟浏览器渲染逻辑：只提取实际参与页面布局与显示的文本节点。goquery（基于 jQuery 风格 API 的 Go HTML 解析库）天然支持这一需求：其 .Text() 方法会自动忽略 <script>、<style>、<noscript>、注释节点及 display: none 或 visibility: hidden 元素（需配合 CSS 解析器才支持后者；默认行为已过滤结构不可见节点）。
以下是一个完整示例：
package main
import (
"fmt"
"log"
"strings"
"github.com/PuerkitoBio/goquery"
)
func main() {
// 从字符串 HTML 解析（也可传 URL）
html := `
<html>
<head>
<style>h1 { color: red; }</style>
<script>console.log("ignored");</script>
</head>
<body>
<h1>I want to get this text and all others like it</h1>
<p>Visible paragraph <span>with nested</span> content.</p>
<!-- This is a comment -->
<div style="display:none">Hidden by CSS</div>
</body>
</html>`
doc, err := goquery.NewDocumentFromReader(strings.NewReader(html))
if err != nil {
log.Fatal(err)
}
// 提取所有可见文本（自动跳过 script/style/comment）
var visibleText strings.Builder
doc.Find("*").Each(func(i int, s *goquery.Selection) {
// 过滤掉空文本和常见不可见容器（增强鲁棒性）
text := strings.TrimSpace(s.Text())
if text != "" && !s.Is("script, style, noscript, head, title") {
visibleText.WriteString(text + "\n")
}
})
fmt.Print(visibleText.String())
// 输出：
// I want to get this text and all others like it
// Visible paragraph with nested content.
}⚠️ 注意事项：
- goquery.Selection.Text() 不执行 CSS 渲染计算，因此无法动态识别 display: none 或 visibility: hidden 样式隐藏的内容（需集成 CSS 解析器如 github.com/andybalholm/cascadia 手动过滤）。但默认已安全排除 <script>、<style>、注释及 <head> 中多数非内容节点。
- 若需更高精度（如响应式隐藏内容），建议结合 doc.Find("*").FilterFunction(...) 按 CSS 属性预筛元素。
- 对于本地 HTML 字符串，优先使用 NewDocumentFromReader；若抓取远程页面，请确保处理 HTTP 错误与重定向。
✅ 总结：相比底层 html.Node 遍历，goquery 提供了语义化、健壮且符合前端直觉的文本提取方式——它聚焦“用户所见”，而非“源码所存”，是 Go 生态中获取可见文本的首选方案。
