讲师中心 微信公众号
AI工具推荐 视频效率加速

AionClaw怎么提取网页正文

梦浩大大_2910

梦浩大大_2910

发布时间:2026-11-03 11:27:31

|

515人浏览过

|

来源于php中文网

原创

AionClaw提供本地化网页正文提取能力,支持静态页面web-scraper技能和动态页面Agent Browser模式,可手动exclude过滤噪声,支持JSON/Markdown导出。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

aionclaw怎么提取网页正文

你需要从网页中精准捞出干净正文,避开导航栏、广告、页脚等干扰信息,AionClaw 提供了开箱即用的本地化提取能力,无需写代码、不依赖云端配额、不触发反爬限制。

确认AionClaw已安装并完成初始化

打开 AionClaw 客户端,检查左下角是否显示绿色「安全保护中」标识;若首次运行,需勾选《用户协议》与《产品隐私说明》,系统将自动完成环境检测、依赖安装、路径配置、权限初始化、模型对接六步流程——【未完成初始化前无法调用任何网页提取技能】。

使用内置 web-scraper 技能提取静态网页正文

该方法适用于新闻页、博客、文档类网站等无 JS 渲染的纯 HTML 页面,速度快、零资源占用。

在终端或 AionClaw 控制台输入命令:openclaw skill execute web-scraper --url https://example.com/article

等待返回结果:默认输出含标题、正文段落(已去除 script/nav/aside/footer)、发布时间、作者字段的结构化 JSON;正文为纯文本,保留换行与段落分隔,无 HTML 标签污染。

如需批量处理,准备一个包含多行 URL 的 urls.txt 文件,执行:openclaw skill execute web-scraper --file urls.txt。

对动态渲染页面启用 Agent Browser 模式

当目标网页依赖 JavaScript 加载正文(如电商商品详情、单页应用 SPA、登录后内容),必须启用真实浏览器渲染能力。

第一步:确认已安装模块,运行 npx clawhub install agent-browser;

第二步:启动代理服务,执行 npx clawhub start agent-browser;

第三步:发送自然语言指令,例如:openclaw nanobot execute "打开https://item.example.com/123,等待‘规格参数’区块完全加载,提取所有带 class='detail-title' 的标题及紧随其后的文本内容"。

OpenClaw Migration
OpenClaw Migration

共享的OpenClaw技能,用于引导ClawMover备份和恢复工作流,具备明确的确认、输入验证以及手动命令优先执行...

下载

注意:Agent Browser 会自动处理滚动、懒加载、弹窗关闭等交互动作,但首次运行需确保系统已安装 Chromium 兼容内核(AionClaw 安装包默认附带)。

用 exclude 参数手动剔除顽固噪声块

某些网站的正文容器 class 名含“content”却混有广告,或 ID 动态变化导致默认过滤失效,此时需人工干预。

方法一:在 web-scraper 命令后追加 --exclude ".ad-banner, #related-posts, [role='complementary']",支持 CSS 选择器语法;

方法二:若知道干扰元素固定 class 前缀(如 class="js-cookie-notice"),直接加 --exclude "[class^='js-cookie']";

方法三:对整站统一过滤,在配置文件 ~/.openclaw/config.yaml 中添加全局 exclude 规则,避免每次重复输入。

验证与导出提取结果

第一步:查看终端返回的 JSON 输出,重点核对 "body" 字段是否为连续段落、无乱码、无截断;

第二步:若发现正文开头缺失(常见于 banner 高度遮挡),在命令末尾加 --scroll-to-top true 强制滚动至顶部再提取;

第三步:确认无误后,追加 --output-format markdown 可获得带标题层级与列表结构的 Markdown 版本;

第四步:导出为文件,添加 --output ./article.md 即可保存到指定路径。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

相关专题

更多
Docker Desktop怎么设置端口映射
Docker Desktop怎么设置端口映射

本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。

0

2026.11.03

Docker Desktop镜像构建教程
Docker Desktop镜像构建教程

想使用Docker Desktop将本地项目构建成Docker镜像?本专题围绕镜像构建的实际操作展开,介绍Dockerfile编写、构建命令使用、镜像标签设置和构建日志查看等内容,同时整理镜像无法生成、依赖安装失败及构建缓存异常等问题的排查思路。

0

2026.11.03

Docker Desktop容器创建指南
Docker Desktop容器创建指南

本专题聚焦Docker Desktop容器创建与运行配置,介绍通过本地镜像或远程镜像创建容器的方法,以及容器启动、终端访问、日志查看和基础管理等操作。针对端口冲突、参数配置不当、容器无法启动等情况,也整理了相应的排查方向。

0

2026.11.03

Tailwind CSS 如何制作导航栏和卡片
Tailwind CSS 如何制作导航栏和卡片

用 Tailwind CSS 制作导航栏和卡片,可先搭建语义化结构,再组合 Flex、Grid、间距、圆角与阴影类。这里整理横向导航、移动端菜单、卡片网格及悬停效果的相关文章,帮助你把常见页面组件做得清晰且适配不同屏幕。

0

2026.11.03

Tailwind CSS 响应式布局怎么写
Tailwind CSS 响应式布局怎么写

Tailwind CSS 响应式布局通常从移动端样式写起,再用 sm、md、lg 等前缀调整不同屏幕宽度下的网格、间距和导航。本专题整理断点配置、Grid 与 Flex 自适应布局及常见溢出问题,帮助你逐步完成多设备适配。

0

2026.11.03

Tailwind CSS 常用类名怎么记
Tailwind CSS 常用类名怎么记

Tailwind CSS 类名很多,先按布局、间距、文字、颜色和状态分组记忆,再通过官方文档检索具体写法。本专题结合类名排序、动态拼接失效、自定义实用类等问题,帮助你建立常用类名的速查方法。

0

2026.11.03

码上飞入口地址合集
码上飞入口地址合集

本专题汇总了码上飞(CodeFlying)的官方入口地址合集,涵盖官网主站及网页版在线使用入口,支持注册登录后直接在线体验零代码AI应用生成。同时整理了APP端下载渠道与小程序入口,助你快速访问平台,通过自然语言描述需求即可生成应用、小程序或网站。

0

2026.11.03

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

20

2026.11.02

Uvicorn使用教程
Uvicorn使用教程

本专题汇总了Uvicorn使用教程与启动运行指南,涵盖其作为Python ASGI服务器的定位与特点,以及命令行启动(uvicorn main:app --reload)、参数配置(host/port/workers)、程序内嵌运行与Gunicorn结合部署等核心用法。同时整理了热重载调试、日志配置与生产环境部署优化等技巧,助你快速掌握Uvicorn的运行与配置。

40

2026.11.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn