使用 Chrome + WebMCP 进行网页抓取,是所有网页爬虫任务的主要方法。
蜘蛛 — Web 擦拭工具
功能概述
蜘蛛 — Web 擦拭工具是一项面向实际任务的技能,主要用于这是默认的擦拭网页方法, 取代了更旧的方法, 如 web fatch..;Trigger 条件;
核心要点
- 当用户说:.;
- Keywords.;
- Action / craw/ scra。
使用与执行
它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。
结果检查与注意事项
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
Spider — 网络爬虫工具
这是默认的网页抓取方式,用于替代旧方法(如 web_fetch)。
触发条件
当用户输入中包含以下关键词时,请使用该技能:
| 关键词 | 操作 |
|---|---|
| 抓取 / crawl / scrape / fetch | 使用 Chrome + WebMCP 抓取网页内容 |
| 采集 | 同上 |
| 获取...新闻 | 抓取新闻类网页 |
| 从...网站 | 指定需抓取的目标网站 |
| 同花顺 | 抓取 Tonghuashun(10jqka)数据 |
| 东方财富 | 抓取 East Money 数据 |
| 雪球 | 抓取 Xueqiu 数据 |
| 百度 | 搜索或抓取 Baidu 内容 |
使用示例
| 用户输入 | 执行动作 |
|---|---|
| "抓取光库科技的新闻" | 在 Chrome 中打开 Tonghuashun,提取相关新闻 |
| "抓取宁德时代的股吧" | 在 Chrome 中打开 East Money 股吧页面 |
| "从同花顺抓取xxx" | 在 Chrome 中打开 Tonghuashun 对应页面 |
| "search xxx" | 在 Chrome 中打开 Google 搜索页面 |
| "查一下xxx" | 在 Chrome 中执行搜索或抓取操作 |
操作流程
1. 检查 Chrome 状态
{ action: "status" }
若未运行,则启动 Chrome:
{ action: "start" }
2. 打开目标网页
{ action: "open", targetUrl: "https://stockpage.10jqka.com.cn/300620/news/", target: "host" }
3. 获取页面快照
{ action: "snapshot", targetId: "xxx", maxChars: 20000 }
4. 页面交互(点击、输入等)
{ action: "act", targetId: "xxx", request: {"kind": "click", ref: "e33"} }
5. 清理:返回到 about:blank
{ action: "navigate", targetId: "xxx", url: "about:blank" }
常用网站模板
同花顺股票新闻页
URL: https://stockpage.10jqka.com.cn/{stock_code}/news/
示例: https://stockpage.10jqka.com.cn/300620/news/
东方财富股吧(股票论坛)
URL: https://guba.eastmoney.com/list,{stock_code}.html
示例: https://guba.eastmoney.com/list,300620.html
雪球(Xueqiu)
URL: https://xueqiu.com/S/SZ{stock_code}
示例: https://xueqiu.com/S/SZ300620
百度新闻搜索
URL: https://www.baidu.com/s?wd={keyword}&tn=news
Chrome 初始化配置(仅需一次)
- 打开 Chrome 实验性功能设置页:
chrome://flags/#enable-experimental-web-platform-features→ 启用chrome://flags/#enable-webmcp-testing→ 启用
- 完全退出 Chrome(macOS 使用 Cmd+Q),然后重新启动
重要规则
- 始终使用 target="host",而非 "sandbox"
- 每次任务完成后必须执行清理:
- 若存在多个标签页,仅保留一个标签页,其余全部关闭
- 剩余标签页必须导航至
about:blank - 若存在多个
about:blank标签页,仅保留最新打开的一个,其余全部关闭 - 可通过
browser action: tabs查询当前所有标签页状态 - 清理完成后,确保仅有一个
about:blank标签页处于打开状态
- 复用已有标签页,避免频繁新建标签页
- 应对反爬网站:同花顺、东方财富等站点需等待完整 JavaScript 加载完成后再进行操作
错误处理
| 错误类型 | 解决方案 |
|---|---|
| Sandbox 不可用 | 改用 target="host" |
| 页面加载缓慢 | 等待 snapshot 返回后再执行后续操作 |
| 内容提取失败 | 增大 snapshot 的 maxChars 参数以获取更多内容 |
| 遭遇反爬机制拦截 | 尝试其他财经网站,或稍后重试 |
默认抓取优先级
Spider(Chrome + WebMCP) ← 主要方法
- 适用场景:金融类网站、股票新闻、论坛等
- 优势:支持完整 JavaScript 渲染,具备交互能力
web_fetch ← 备用方法
- 适用场景:简单静态网页
- 劣势:无法处理由 JavaScript 动态渲染的页面
热门AI工具
相关专题
本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。
0
2026.11.17
本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。
0
2026.11.17
本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。
0
2026.11.17
SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。
0
2026.11.17
SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。
0
2026.11.17
SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。
0
2026.11.17
本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。
0
2026.11.12
本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。
0
2026.11.12
本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。
0
2026.11.12
热门下载
相关下载
精品课程
共6课时 | 12.1万人学习
共79课时 | 161.9万人学习
共6课时 | 54.7万人学习
最新文章