Hermes Agent外部数据采集需按五步配置：一启用终端工具；二配置Camofox网页爬取；三启用本地文件读取；四调用内置web-scrape技能；五桥接自定义Python爬虫脚本。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望 Hermes Agent 自动获取外部数据，但发现终端无响应、网页内容未解析或文件读取失败，则可能是由于数据采集工具未启用或配置路径错误。以下是配置信息收集功能的具体步骤：
一、启用内置终端交互采集工具
该方法通过tools/terminal_tool.py模块捕获用户在终端中的操作行为与命令输出，适用于日志分析、运维监控等场景，无需额外依赖即可直接启用。
1、确认Hermes Agent已安装终端后端：执行uv pip install -e "./mini-swe-agent"确保终端工具包已加载。
2、在~/.hermes/config.yaml中添加tool启用配置。
3、将以下YAML片段插入tools节区：tools: terminal: enabled: true capture_history: true。
4、重启Hermes Agent服务使配置生效。
5、运行任意shell命令（如ls -l），观察agent是否在trajectory.py中记录对应操作轨迹。
二、配置网页爬取工具（支持反爬伪装）
该方式利用集成的tools/web_tools.py模块，结合Camofox服务模拟真实浏览器行为，有效绕过目标网站的JS渲染检测与IP频率限制。
1、在项目根目录下启动Camofox服务：docker run -d -p 8080:8080 --name camofox nousresearch/camofox。
2、编辑config.yaml，在tools节区添加web配置。
3、确保SOUL.md中已定义“先验证后执行”原则，防止未经校验的URL被批量抓取。
4、调用web_scrape(url: str)函数测试采集效果，例如输入web_scrape("https://example.com")。
5、检查返回内容是否包含完整HTML结构及可提取文本，而非仅返回403或空响应。
三、启用本地文件数据采集模块
此方法通过tools/file_tools.py读取本地CSV、JSON或TXT格式的客户历史记录、销售台账等结构化数据，适合作为离线分析的数据源接入点。
1、将待采集文件存放于~/.hermes/data/inbound/目录下。
2、在config.yaml中配置file工具参数。
3、将以下YAML片段插入file节区：file: enabled: true allowed_extensions: ["csv", "json", "txt"]。
4、确认文件路径在Hermes Agent运行用户权限范围内可读。
5、调用file_read(path: str)指令触发读取，例如输入file_read("inbound/customers_202605.csv")。
四、启用内置web-scrape技能抓取并JSON归档
该方法依赖Hermes Agent已集成的浏览器自动化模块，无需额外安装爬虫工具，直接调用内置web-scrape工具即可触发页面解析与字段提取，并自动完成结构化归档。
1、启动Hermes交互终端：hermes。
2、输入指令：/skills，确认列表中已存在web-scrape技能；若未出现，执行hermes skill install web-scrape安装。
3、发送请求：“请访问 https://example-competitor.com/pricing ，提取所有套餐名称、价格、核心功能列表，并以表格形式返回”。
4、等待Agent返回结构化数据，随后可追加指令：“将上述结果保存为 pricing_20260514.json 到 ~/hermes-data/competitors/”。
五、通过自定义Python脚本桥接外部爬虫工具
当目标网站存在复杂反爬机制（如动态token、滑块验证）时，Hermes Agent可调用本地运行的Python脚本，复用Playwright等成熟方案，再将输出导入Agent进行归档处理。
1、在~/hermes-scripts/下新建文件scrape_competitor.py，内容包含Playwright启动、登录、滚动、截图及字段提取逻辑。
2、确保脚本末尾写入：print(json.dumps(result, ensure_ascii=False))，保证标准输出可被Hermes捕获。
3、在Hermes终端中执行：!python ~/hermes-scripts/scrape_competitor.py。
4、收到输出后，立即使用：归档至 competitors/20260514_shopee_pricing.csv，Agent将自动调用csv.writer生成带表头的归档文件。
