Scrapling Safe_数据分析 skill-PHP中文网

Scrapling Safe

Polar Sponsor

爱发电赞助

.NET 9.0

立即下载

Scrapling 安全技能——网页数据抓取工具，支持 HTTP 请求、隐身抓取、浏览器自动化，智能定位元素，抗反爬虫检测，无需 API 配置，输出路径受限

Scrapling 技能

功能概述

Scrapling 技能是一项面向实际任务的技能，主要用于使用 Scrapling 框架进行安全的网页数据抓取和内容提取；仅用于合法用途，严格遵守以下限制：；

核心要点

✅ 仅抓取公开网站：遵守 robots.txt 和网站服务条款；
✅ 路径输出受限：结果文件只能保存到用户主目录；
✅ 无危险函数：不使用 eval/exec 等危险函数；

使用与执行

✅ 严格的超时控制：防止无限等待；✅ 频率限制：自动添加请求延迟，避免对目标造。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。从功能定位来看，该技能强调把分散的操作要求整理成清晰、可复用的处理流程，使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。

结果检查与注意事项

实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数，再依据技能说明逐步执行；若输入条件不完整，应先补齐信息或采用保守配置，避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期，并对异常提示、缺失字段和边界情况进行处理；涉及批量任务时，还应保存进度，避免中断后重复操作。

Scrapling 技能

使用 Scrapling 框架进行安全的网页数据抓取和内容提取。

安全说明

仅用于合法用途，严格遵守以下限制：

✅ 仅抓取公开网站：遵守 robots.txt 和网站服务条款
✅ 路径输出受限：结果文件只能保存到用户主目录
✅ 无危险函数：不使用 eval/exec 等危险函数
✅ 严格的超时控制：防止无限等待
✅ 频率限制：自动添加请求延迟，避免对目标造成压力
❌ 禁止抓取私有内容：仅抓取公开可访问页面
❌ 禁止大规模爬取：默认并发限制为 1

核心功能

🕷️ 多种抓取模式：HTTP/隐身/浏览器自动化
🎯 智能元素定位：自适应选择器，网站改版后仍有效
📄 数据提取：CSS/XPath/文本/正则搜索
💾 结果保存：保存到 JSON/TXT/MD 文件（路径受限）
🔍 内容解析：类似 Scrapy 的 API，易于使用

使用场景

抓取公开新闻和资讯
提取商品信息（电商网站）
收集公开数据（天气、股票等）
网站内容监控

触发词

"scrapling 抓取..."
"scrapling 提取..."
"scrapling 爬取..."
"scrapling 获取..."

快速开始

基本抓取

# HTTP 请求抓取
scrapling get 'https://example.com' --output ~/result.json

# 隐身模式抓取
scrapling stealthy 'https://example.com' --output ~/result.json

# 浏览器自动化（动态内容）
scrapling dynamic 'https://example.com' --output ~/result.json

指定选择器

# 使用 CSS 选择器
scrapling get 'https://quotes.toscrape.com' --css-selector '.quote' --output ~/quotes.json

# 提取特定字段
scrapling get 'https://quotes.toscrape.com' --css-selector '.quote .text' --output ~/text.txt

高级用法

# 隐身模式 + 解决 Cloudflare
scrapling stealthy 'https://nopecha.com/demo/cloudflare' --solve-cloudflare --output ~/result.json

# 并发抓取（限制为 1）
scrapling spider 'https://example.com' --concurrent 1 --output ~/crawl.json