讲师中心 微信公众号

工具推荐

视频效率加速
AniShort
AniShort

AI短剧协同制作平台

立刻MV
立刻MV

低成本歌曲 MV、视频生成

SoundView
SoundView

字幕擦除翻译、配音口型同步

updream

一键生成高质量推广成片

Web scraping skill using Chrome + WebMCP

Polar Sponsor
爱发电 赞助
.NET 9.0

使用 Chrome + WebMCP 进行网页抓取,是所有网页爬虫任务的主要方法。

蜘蛛 — Web 擦拭工具

功能概述

蜘蛛 — Web 擦拭工具是一项面向实际任务的技能,主要用于这是默认的擦拭网页方法, 取代了更旧的方法, 如 web fatch..;Trigger 条件;

核心要点

  • 当用户说:.;
  • Keywords.;
  • Action / craw/ scra。

使用与执行

它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。

结果检查与注意事项

实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。

Spider — 网络爬虫工具

这是默认的网页抓取方式,用于替代旧方法(如 web_fetch)。

触发条件

当用户输入中包含以下关键词时,请使用该技能:

关键词 操作
抓取 / crawl / scrape / fetch 使用 Chrome + WebMCP 抓取网页内容
采集 同上
获取...新闻 抓取新闻类网页
从...网站 指定需抓取的目标网站
同花顺 抓取 Tonghuashun(10jqka)数据
东方财富 抓取 East Money 数据
雪球 抓取 Xueqiu 数据
百度 搜索或抓取 Baidu 内容

使用示例

用户输入 执行动作
"抓取光库科技的新闻" 在 Chrome 中打开 Tonghuashun,提取相关新闻
"抓取宁德时代的股吧" 在 Chrome 中打开 East Money 股吧页面
"从同花顺抓取xxx" 在 Chrome 中打开 Tonghuashun 对应页面
"search xxx" 在 Chrome 中打开 Google 搜索页面
"查一下xxx" 在 Chrome 中执行搜索或抓取操作

操作流程

1. 检查 Chrome 状态

{ action: "status" }

若未运行,则启动 Chrome:

{ action: "start" }

2. 打开目标网页

{ action: "open", targetUrl: "https://stockpage.10jqka.com.cn/300620/news/", target: "host" }

3. 获取页面快照

{ action: "snapshot", targetId: "xxx", maxChars: 20000 }

4. 页面交互(点击、输入等)

{ action: "act", targetId: "xxx", request: {"kind": "click", ref: "e33"} }

5. 清理:返回到 about:blank

{ action: "navigate", targetId: "xxx", url: "about:blank" }

常用网站模板

同花顺股票新闻页

URL: https://stockpage.10jqka.com.cn/{stock_code}/news/
示例: https://stockpage.10jqka.com.cn/300620/news/

东方财富股吧(股票论坛)

URL: https://guba.eastmoney.com/list,{stock_code}.html
示例: https://guba.eastmoney.com/list,300620.html

雪球(Xueqiu)

URL: https://xueqiu.com/S/SZ{stock_code}
示例: https://xueqiu.com/S/SZ300620

百度新闻搜索

URL: https://www.baidu.com/s?wd={keyword}&tn=news

Chrome 初始化配置(仅需一次)

  1. 打开 Chrome 实验性功能设置页:
    • chrome://flags/#enable-experimental-web-platform-features → 启用
    • chrome://flags/#enable-webmcp-testing → 启用
  2. 完全退出 Chrome(macOS 使用 Cmd+Q),然后重新启动

重要规则

  1. 始终使用 target="host",而非 "sandbox"
  2. 每次任务完成后必须执行清理:
    • 若存在多个标签页,仅保留一个标签页,其余全部关闭
    • 剩余标签页必须导航至 about:blank
    • 若存在多个 about:blank 标签页,仅保留最新打开的一个,其余全部关闭
    • 可通过 browser action: tabs 查询当前所有标签页状态
    • 清理完成后,确保仅有一个 about:blank 标签页处于打开状态
  3. 复用已有标签页,避免频繁新建标签页
  4. 应对反爬网站:同花顺、东方财富等站点需等待完整 JavaScript 加载完成后再进行操作

错误处理

错误类型 解决方案
Sandbox 不可用 改用 target="host"
页面加载缓慢 等待 snapshot 返回后再执行后续操作
内容提取失败 增大 snapshot 的 maxChars 参数以获取更多内容
遭遇反爬机制拦截 尝试其他财经网站,或稍后重试

默认抓取优先级

  1. Spider(Chrome + WebMCP) ← 主要方法

    • 适用场景:金融类网站、股票新闻、论坛等
    • 优势:支持完整 JavaScript 渲染,具备交互能力
  2. web_fetch ← 备用方法

    • 适用场景:简单静态网页
    • 劣势:无法处理由 JavaScript 动态渲染的页面
目录

热门AI工具

更多
UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

0

2026.11.17

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

0

2026.11.17

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

0

2026.11.17

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

0

2026.11.17

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

0

2026.11.17

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

0

2026.11.17

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

0

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

0

2026.11.12

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

0

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn