26个MCP工具：网页获取/JSON API/文件下载/HTML表格解析/链接提取/CSS选择器/XPath/HTML转Markdown/新闻文章提取/商品信息提取
网页抓取MCP服务器
功能概述
网页抓取MCP服务器是一项面向实际任务的技能，主要用于一个功能全面的MCP网页抓取服务器，提供26个工具，覆盖网页获取、HTML解析、数据提取和辅助功能；获取HTML、JSON API、自定义请求、文件下载、状态检查、分页获取；
核心要点
- HTML解析；
- 表格解析、链接提取、图片提取、文本提取、meta标签、结构分析、HTML清洗、转Markdown；
- CSS选择器、XPath、表格CSV、列表数据、。
使用与执行
它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。从功能定位来看，该技能强调把分散的操作要求整理成清晰、可复用的处理流程，使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数，再依据技能说明逐步执行；若输入条件不完整，应先补齐信息或采用保守配置，避免因错误假设导致结果偏离需求。
结果检查与注意事项
执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期，并对异常提示、缺失字段和边界情况进行处理；涉及批量任务时，还应保存进度，避免中断后重复操作。该技能适合用于一次性任务，也可以接入自动化工作流，与其他技能或上层代理配合完成更完整的业务链路；在组合使用时，应明确每一步的输入输出关系，并避免不同步骤之间出现参数冲突。
网页抓取MCP服务器
一个功能全面的MCP网页抓取服务器，提供26个工具，覆盖网页获取、HTML解析、数据提取和辅助功能。
功能概览
| 模块 | 工具数量 | 说明 |
|---|---|---|
| 网页获取 | 6 | 获取HTML、JSON API、自定义请求、文件下载、状态检查、分页获取 |
| HTML解析 | 8 | 表格解析、链接提取、图片提取、文本提取、meta标签、结构分析、HTML清洗、转Markdown |
| 数据提取 | 8 | CSS选择器、XPath、表格CSV、列表数据、表单数据、新闻文章、商品信息、社交元数据 |
| 辅助工具 | 4 | URL验证、编码解码、查询参数解析、请求间隔控制 |
工具列表
网页获取（6个）
fetch_webpage- 获取网页HTML内容fetch_json_api- 获取JSON API数据fetch_with_headers- 自定义请求头获取download_file- 下载文件到本地check_website_status- 检查网站状态码fetch_with_pagination- 分页获取数据
HTML解析（8个）
parse_html_tables- 解析HTML表格extract_links- 提取所有链接extract_images- 提取所有图片extract_text- 提取纯文本内容extract_meta_tags- 提取meta标签parse_html_structure- 解析HTML结构clean_html- 清洗HTML（去脚本/样式）html_to_markdown- HTML转Markdown
数据提取（8个）
extract_by_css_selector- CSS选择器提取extract_by_xpath- XPath提取extract_table_data- 表格数据提取为CSVextract_list_data- 列表数据提取extract_form_data- 表单数据提取extract_news_article- 新闻文章提取extract_product_info- 商品信息提取extract_social_metadata- 社交媒体元数据提取
辅助工具（4个）
validate_url- URL验证encode_decode_url- URL编码/解码parse_query_params- 查询参数解析rate_limit_wait- 请求间隔控制
使用方式
{
"mcpServers": {
"web-scraper": {
"command": "python",
"args": ["path/to/server.py"]
}
}
}
热门AI工具
相关专题
DBeaver数据导入专题，整理Excel、CSV、SQL、TXT等常见文件的数据导入方法，涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作，帮助用户将本地文件中的数据写入数据库，并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。
0
2026.11.05
DBeaver安全防护专题，围绕数据库连接安全、账号密码保护和访问权限管理展开，整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法，同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项，帮助用户提高数据库日常管理的安全性。
0
2026.11.05
本专题聚焦DBeaver数据库连接配置与管理，覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库，整理相应的连接设置方法，并提供驱动缺失、认证失败和连接异常等问题的排查方向。
0
2026.11.04
本专题围绕XORM框架的结构体映射展开，说明表名与字段的命名策略、xorm标签常用属性、主键自增与时间字段自动填充，并演示Sync2自动建表、增量字段升级、索引声明与反向生成结构体的完整流程。
0
2026.11.04
本专题聚焦XORM框架的配置与连接环节，拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择，讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式，并补充容器与兼容数据库的适配经验。
0
2026.11.04
本专题聚焦XORM框架的配置与连接环节，拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择，讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式，并补充容器与兼容数据库的适配经验。
0
2026.11.04
本专题聚焦XORM框架的配置与连接环节，拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择，讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式，并补充容器与兼容数据库的适配经验。
0
2026.11.04
本专题梳理XORM框架的入门路径，从框架定位、依赖安装、连接数据库到跑通第一个增删改查示例，讲清Engine初始化、日志开启与项目目录规划，并对比GORM等同类ORM的差异，帮助Go开发者建立整体认知。
0
2026.11.04
本专题聚焦Docker Desktop容器端口映射与访问配置，整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况，也提供相应的检查方向，方便用户完成端口配置。
0
2026.11.03
热门下载
相关下载
精品课程
共6课时 | 12.1万人学习
共79课时 | 161.7万人学习
共6课时 | 54.7万人学习
