讲师中心 微信公众号
AI工具推荐 视频效率加速

Java实战如何开发网页爬虫项目_Jsoup解析HTML文档与CSS选择器提取数据

夏枫君_1162

夏枫君_1162

发布时间:2026-03-18 15:00:14

|

644人浏览过

|

来源于php中文网

原创

Jsoup连接超时或返回空文档主因是默认超时过短(3秒)及反爬拦截;需显式设timeout≥8000ms、加User-Agent头、检查statusCode、JS渲染页须换工具。

java实战如何开发网页爬虫项目_jsoup解析html文档与css选择器提取数据

Jsoup连接超时或返回空文档的常见原因

直接用 Jsoup.connect(url).get() 却拿不到 HTML,十有八九是网络或反爬导致的——不是代码写错了,而是默认配置太“天真”。Jsoup 默认连接超时 3 秒、读取超时 3 秒,多数真实网站响应慢一点就直接抛 IOException;更常见的是服务器返回 200 但内容为空(比如被 JS 渲染、或服务端校验了 User-Agent)。

实操建议:

立即学习“Java免费学习笔记(深入)”;

  • 必须显式设置超时:Jsoup.connect(url).timeout(10000)(单位毫秒,建议 ≥8000)
  • 加基础请求头绕过简单拦截:.userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")
  • 检查响应状态码:Document doc = Jsoup.connect(url).execute().parse();,再用 response.statusCode() 确认是不是 200
  • 如果页面依赖 JS 渲染(如 Vue/React 路由页),Jsoup 无能为力,得换 Puppeteer 或 Selenium

用 CSS 选择器提取数据时 selector 写不对的典型表现

调用 doc.select("div.title") 却返回空集合,不是 Jsoup 有问题,而是 selector 和实际 HTML 结构对不上。CSS 选择器在 Jsoup 中支持良好,但不支持伪类(如 :nth-child)、不支持属性值正则匹配,且大小写敏感(HTML 是 case-insensitive,但 Jsoup 解析后按 DOM 树处理)。

实操建议:

立即学习“Java免费学习笔记(深入)”;

  • 先用浏览器开发者工具复制“真正生效”的 selector(右键元素 → Copy → Copy selector),粘贴后手动删掉可能含动态 class 的部分(如 .title-abc123 改成 .title)
  • 避免用过于深层的路径:body > div#wrap > section > article h1 容易因前端微调而失效,优先用带语义的 class 或 id:h1.post-title
  • 提取文本前务必判空:Elements titles = doc.select("h1.title"); if (!titles.isEmpty()) { String text = titles.get(0).text(); }
  • 注意 select() 返回 Elements(集合),selectFirst() 才返回单个 Element,别混用

解析含中文、特殊符号或乱码 HTML 的字符集问题

抓回来的页面显示“”或标题变成“”,基本是字符集没对上。Jsoup 默认按 UTF-8 解析,但很多国内网站声明的是 GBK 或 GB2312,甚至 meta 标签里写的 charset 是错的。

Gradle 9.8.0
Gradle 9.8.0

Gradle 9.8.0 官方二进制分发包,适用于 Windows、macOS 与 Linux 的 Java、Kotlin 和 Android 项目构建。

下载

实操建议:

立即学习“Java免费学习笔记(深入)”;

  • 强制指定编码比依赖自动探测更稳:Jsoup.parse(htmlString, "https://example.com", Parser.htmlParser()).outputSettings().charset(Charset.forName("GBK"))
  • 如果用 connect(),在 get() 前加 .parser(Parser.htmlParser()),再用 .data("charset", "GBK")(注意:这是 hack 方式,仅当响应头没设 charset 时有效)
  • 最可靠的做法:先用 Connection.Response response = Jsoup.connect(url).execute() 拿到原始字节流,用 response.bodyAsBytes() 自己按正确编码转字符串,再传给 Jsoup.parse()

内存与性能:大页面或高频请求下的泄漏风险

循环爬 1000 个页面却没释放 Document 对象,JVM 堆内存会持续上涨,最终 OutOfMemoryError。Jsoup 的 Document 不小,尤其含大量 script/style 标签时;而且它内部缓存了节点关系,GC 不容易立刻回收。

实操建议:

立即学习“Java免费学习笔记(深入)”;

  • 每次解析完立刻丢弃引用:Document doc = Jsoup.connect(url).get(); // ... 处理逻辑; doc = null;
  • 禁用 Jsoup 内部的 HTML 解析缓存(默认开启):Parser.htmlParser().setTrackPosition(false),减少对象开销
  • 高频请求务必加延迟(哪怕 100ms),否则目标站封 IP 是分分钟的事,比内存问题来得更快
  • 别在循环里反复 new Connection —— Jsoup.connect() 本身轻量,但底层 HTTP 连接复用靠的是 OkHttp(Jsoup 1.15+ 内置),只要不用 .maxBodySize(0) 这类极端配置,一般没问题

真正难的从来不是写出能跑的代码,而是看懂 response 的 statusCode、确认 charset 是否生效、以及在 selector 失效时快速定位是结构变了还是 selector 写窄了——这些细节不打日志,光靠 print 是看不出问题的。

相关文章

HTML速学教程(入门课程)
HTML速学教程(入门课程)

HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

10937

2023.06.15

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

8062

2023.07.05

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

6992

2023.07.31

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1184

2023.08.01

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

968

2023.08.02

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

1416

2023.08.02

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2889

2023.08.02

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

20171

2023.08.03

二狗PPT模板与视觉设计
二狗PPT模板与视觉设计

本专题介绍二狗PPT的职场模板、主题风格与页面版式,覆盖模板切换、色彩选择、内容匹配和正式汇报场景下的视觉优化方法。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn