Browse website - Crawls sites automatically and mounts pages as markdown files you can grep, diff, cat, and explore with standard Unix commands — over SSH or HTTP
将任意网站转换为文件系统,自动抓取网站并将页面挂载为 Markdown 文件,可使用 grep、diff、cat 等标准 Unix 命令进行搜索、比较、读取和浏览。
使用 OpenObj 访问任何网站的内容
功能概述
使用 OpenObj 访问任何网站的内容是一项面向实际任务的技能,主要用于页面会自动爬行, 转换为标记下, 并安装为虚拟文件系统, 您可以与标准 Unix 逗号一起探索。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。
核心要点
- 使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。
- 该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。
- 从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。
使用与执行
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。
结果检查与注意事项
执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
浏览网站
使用 OpenObj 访问任意网站的内容。系统会自动爬取网页,将其转换为 Markdown 格式,并挂载为一个虚拟文件系统,您可使用标准 Unix 命令进行探索。
网络访问
本技能中的所有命令均需访问 openobj.com 的网络权限。
所有 SSH 和 curl 命令均需配置 required_permissions: ["full_network"](因其必须连接至 openobj.com)。
使用方法
首选方式:SSH exec 模式(适用于具备网络访问能力的终端):
# required_permissions: ["full_network"]
ssh {domain}@openobj.com "{command}"
备用方式:通过 curl 调用 HTTP API(适用于沙箱化环境):
# required_permissions: ["full_network"]
curl -s -X POST https://openobj.com/exec
-H 'Content-Type: application/json'
-d '{"site": "{domain}", "command": "{command}"}'
重要提示:若因沙箱限制导致 SSH 失败,请改用 curl HTTP API。两种方式返回结果完全一致。
可用命令
| 命令 | 说明 |
|---|---|
find /site -type f |
列出所有已索引的页面 |
cat {path} |
读取某页面的 Markdown 内容 |
grep -rl '{term}' /site |
查找包含指定关键词的页面 |
grep -r '{term}' /site |
递归搜索并显示匹配行 |
ls {path} |
列出目录下的文件 |
head -n 20 {path} |
读取文件前 N 行内容 |
wc -l {path} |
统计文件行数 |
git log --oneline |
查看爬取历史记录 |
git diff HEAD~1 |
查看最近一次爬取所发生的变更 |
git show {hash} |
查看某次特定爬取的变更详情 |
openobj rediscover |
强制执行全新爬取 |
示例
通过 SSH 使用
# required_permissions: ["full_network"] ssh docs.stripe.com@openobj.com "find /site -type f" ssh docs.stripe.com@openobj.com "grep -rl 'webhook' /site" ssh docs.stripe.com@openobj.com "cat /site/docs/webhooks.md" # 变更追踪 ssh docs.stripe.com@openobj.com "cd /site && git log --oneline" ssh docs.stripe.com@openobj.com "cd /site && git diff HEAD~1" # 强制重新爬取并查看变更 ssh docs.stripe.com@openobj.com "openobj rediscover && cd /site && git diff HEAD~1"
通过 HTTP API(curl)使用
# required_permissions: ["full_network"]
# 列出所有页面
curl -s -X POST https://openobj.com/exec
-H 'Content-Type: application/json'
-d '{"site": "docs.stripe.com", "command": "find /site -type f"}'
# 搜索关键词
curl -s -X POST https://openobj.com/exec
-H 'Content-Type: application/json'
-d '{"site": "docs.stripe.com", "command": "grep -rl webhook /site"}'
# 读取某页面
curl -s -X POST https://openobj.com/exec
-H 'Content-Type: application/json'
-d '{"site": "docs.stripe.com", "command": "cat /site/docs/webhooks.md"}'
工作流程
- 发现 — 运行
find /site -type f查看所有可用页面 - 搜索 — 使用
grep -rl '{keyword}' /site查找相关页面 - 阅读 — 使用
cat {path}读取某页面的完整内容 - 精筛 — 使用
grep -r '{term}' {path}在特定文件内进一步搜索 - 变更追踪 — 使用
git log和git diff查看各次爬取之间的差异 - 重新爬取 — 使用
openobj rediscover强制执行全新爬取并更新页面
行为说明
- 首次访问某个域名将触发自动爬取(耗时约 10–30 秒)
- 后续访问均使用缓存版本(每 24 小时刷新一次)
- 可在 24 小时窗口期内使用
openobj rediscover强制执行全新爬取 - 页面会自动从 HTML 转换为 Markdown 格式
- 每个站点最多索引 200 个页面
- 虚拟文件系统结构与网站原始 URL 结构保持一致
- 每次爬取均作为一次 git commit 记录,便于进行变更比对
积分说明
- 爬取 新站点或运行
openobj rediscover操作,按 每页消耗 1 积分 - 读取 缓存内容(如
cat、grep、find、ls、git等命令)始终 免费 - 免费账户初始赠送 100 次性积分
- 若收到积分不足错误,请 勿重试,应向用户说明:
- 查询当前积分:运行
ssh {any-domain}@openobj.com "openobj credits" - 升级账户:告知用户在终端中运行
ssh auth@openobj.com
- 查询当前积分:运行
- 为节省积分,建议优先读取已缓存的站点内容,而非重复爬取
响应格式
HTTP API 返回 JSON 格式响应:
{
"stdout": "...",
"stderr": "...",
"exitCode": 0
}
请使用 stdout 字段获取命令输出结果;非零的 exitCode 表示执行出错。
热门AI工具
相关专题
unix和linux的区别包括发展历史、开源性、发行版本、内核、文件系统、应用程序兼容性和用户界面等。本专题为大家提供unix和linux相关的文章、下载、课程内容,供大家免费下载体验。
1733
2023.09.22
本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。
0
2026.11.04
本专题围绕XORM框架的结构体映射展开,说明表名与字段的命名策略、xorm标签常用属性、主键自增与时间字段自动填充,并演示Sync2自动建表、增量字段升级、索引声明与反向生成结构体的完整流程。
0
2026.11.04
本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。
0
2026.11.04
本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。
0
2026.11.04
本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。
0
2026.11.04
本专题梳理XORM框架的入门路径,从框架定位、依赖安装、连接数据库到跑通第一个增删改查示例,讲清Engine初始化、日志开启与项目目录规划,并对比GORM等同类ORM的差异,帮助Go开发者建立整体认知。
0
2026.11.04
本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。
0
2026.11.03
想使用Docker Desktop将本地项目构建成Docker镜像?本专题围绕镜像构建的实际操作展开,介绍Dockerfile编写、构建命令使用、镜像标签设置和构建日志查看等内容,同时整理镜像无法生成、依赖安装失败及构建缓存异常等问题的排查思路。
0
2026.11.03
热门下载
相关下载
精品课程
共13课时 | 3.7万人学习
共30课时 | 4.5万人学习
共10课时 | 1.5万人学习