虾抓抓 v4.0 - 超强内容抓取,支持 Markdown、PDF、多模态提取、结构化抽取、翻译、视频下载。触发词:抓取网页、网页转Markdown、内容抓取、虾抓抓、视频下载
虾抓抓 v4.0 - 超强内容抓取技能
功能概述
虾抓抓 v4.0 - 超强内容抓取技能是一项面向实际任务的技能,主要用于原名:xia-zhua-zhua,又称Content Catcher;升级亮点 (v4.0);
核心要点
- PDF导出;
- 直接导出为PDF;
- 多模态提取;
使用与执行
图片/音频/视频资源;结构化抽取;表格/列表/卡片智能识别;页面更新自动提醒;抓取后自动翻译;完整JS动态内容;1. 网页内容抓取;node markdown-clip.js <url。
结果检查与注意事项
它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。该技能适合用于一次性任务,也可以接入自动化工作流,与其他技能或上层代理配合完成更完整的业务链路;在组合使用时,应明确每一步的输入输出关系,并避免不同步骤之间出现参数冲突。
虾抓抓 v4.0 - 超强内容抓取技能
原名:xia-zhua-zhua,又称Content Catcher
升级亮点 (v4.0)
| 新功能 | 说明 |
|---|---|
| PDF导出 | 直接导出为PDF |
| 多模态提取 | 图片/音频/视频资源 |
| 结构化抽取 | 表格/列表/卡片智能识别 |
| 增量监测 | 页面更新自动提醒 |
| 翻译集成 | 抓取后自动翻译 |
| 深度渲染 | 完整JS动态内容 |
核心能力
1. 网页内容抓取
| 模式 | 命令 | 说明 |
|---|---|---|
| 标准模式 | node markdown-clip.js |
CSS选择器 |
| Smart模式 | node markdown-clip.js |
Readability AI |
| 分析模式 | node markdown-clip.js |
摘要+关键词 |
2. 视频下载
| 命令 | 说明 |
|---|---|
python video_catcher_pro.py ytdlp |
yt-dlp下载 |
python video_catcher_pro.py m3u8 |
M3U8下载 |
v4.0 新增功能
多模态提取
# 提取图片资源 node content-extractor.js--images # 提取所有媒体 node content-extractor.js --media
PDF导出
# 导出为PDF node content-extractor.js--pdf # Markdown + PDF双导出 node content-extractor.js --both
结构化抽取
# 智能识别表格 node content-extractor.js--tables # 识别列表数据 node content-extractor.js --lists
增量监测
# 监测页面更新 node content-watcher.js--watch # 设置更新提醒 node content-watcher.js --watch --notify
翻译功能
# 翻译为英文 node content-extractor.js--translate en # 翻译为日文 node content-extractor.js --translate jp
技术架构
┌─────────────────────────────────────────────────────────┐ │ Content Catcher v4.0 │ ├─────────────────────────────────────────────────────────┤ │ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │ Playwright │ │ Turndown │ │ yt-dlp │ │ │ │ (渲染) │ │ (Markdown) │ │ (视频) │ │ │ └──────┬──────┘ └──────┬──────┘ └─────────────┘ │ │ │ │ │ │ ┌──────▼──────┐ ┌──────▼──────┐ │ │ │ 多模态提取 │ │ 结构化 │ │ │ │ 图片/音频 │ │ 表格/列表 │ │ │ └─────────────┘ └─────────────┘ │ │ │ │ │ ┌──────▼──────┐ │ │ │ 输出格式 │ │ │ │ Markdown │ │ │ │ PDF │ │ │ │ JSON │ │ │ └─────────────┘ │ └─────────────────────────────────────────────────────────┘
升级对比
| 功能 | v2.x | v3.x | v4.x |
|---|---|---|---|
| Markdown | ✅ | ✅ | ✅ |
| Smart模式 | ✅ | ✅ | ✅ |
| 分析 | ✅ | ✅ | ✅ |
| 视频下载 | - | ✅ | ✅ |
| PDF导出 | - | - | ✅ |
| 多模态 | - | - | ✅ |
| 结构化 | - | - | ✅ |
| 增量监测 | - | - | ✅ |
| 翻译 | - | - | ✅ |
依赖工具
| 工具 | 状态 | 用途 |
|---|---|---|
| Node.js | ✅ | 运行环境 |
| Playwright | ✅ | 页面渲染 |
| Turndown | ✅ | HTML→Markdown |
| Python | ✅ | 分析/翻译 |
| yt-dlp | ✅ | 视频下载 |
| weasyprint | ✅ | PDF导出 |
| googletrans | ⬜ | 翻译(可选) |
使用示例
基础抓取
node xia-zhua-zhua/markdown-clip.js https://example.com --smart
多模态+PDF
node content-extractor.js https://example.com --media --pdf
视频下载
python video-catcher/video_catcher_pro.py ytdlp https://b.com/video
文件结构
content-catcher/
├── SKILL.md # 本文档
├── xia-zhua-zhua/ # 虾抓抓模块
│ ├── markdown-clip.js # 主脚本
│ └── ...
└── video-catcher/ # 视频模块
├── video_catcher_pro.py # 主脚本
└── ...
更新日志
v4.0.0 (最新)
- 多模态内容提取
- PDF导出
- 结构化数据抽取
- 增量更新监测
- 翻译集成
v3.0.0
- 融合Video Catcher
v2.1.3
- Smart模式
- 分析功能
热门AI工具
相关专题
本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。
0
2026.11.12
本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。
0
2026.11.12
本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。
0
2026.11.12
本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。
0
2026.11.06
围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。
0
2026.11.06
详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。
0
2026.11.06
DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。
0
2026.11.05
DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。
0
2026.11.05
本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。
0
2026.11.04
热门下载
相关下载
精品课程
共6课时 | 12.1万人学习
共79课时 | 161.8万人学习
共6课时 | 54.7万人学习
最新文章