see-video_设计多媒体 skill-PHP中文网

see-video

Polar Sponsor

爱发电赞助

.NET 9.0

立即下载

当用户发送视频文件或询问视频内容时使用。提取帧并将其作为图像网格直接注入LLM上下文，无需代理。

setup(仅限第一次). 在成功时输出 JSON 显示

功能概述

setup(仅限第一次). 在成功时输出 JSON 显示是一项面向实际任务的技能，主要用于如果视频超过 10 minut。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。

核心要点

使用时应结合输入条件选择合适的执行方式，核对必要参数、依赖环境与输出内容，并按原始要求处理异常情况。
该技能适合需要稳定复用相关能力的场景，可作为自动化工作流的一部分，也便于后续检查、调整和扩展。
从功能定位来看，该技能强调把分散的操作要求整理成清晰、可复用的处理流程，使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。

使用与执行

实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数，再依据技能说明逐步执行；若输入条件不完整，应先补齐信息或采用保守配置，避免因错误假设导致结果偏离需求。

结果检查与注意事项

执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期，并对异常提示、缺失字段和边界情况进行处理；涉及批量任务时，还应保存进度，避免中断后重复操作。

see-video

从视频中提取帧，并将其以网格图像 + XML 时间戳的形式注入大语言模型（LLM）上下文。

初始化设置（仅首次运行时需要）

cd 
npm install

使用方法

node {baseDir}/scripts/inject.mjs  [--mode uniform|highlight] [--start N] [--end N]

执行成功后，向标准输出（stdout）返回 JSON 结果：

{
  "gridPath": "/tmp/video_llm-frames.jpg",
  "description": "...",
  "duration": 1326,
  "frameCount": 28,
  "layout": { "cols": 4, "rows": 7, "cellW": 384, "cellH": 216 },
  "videoWidth": 854,
  "videoHeight": 480,
  "inputSizeMb": 42.3
}

若视频时长超过 10 分钟，且在未指定 --start/--end 的情况下使用了 --mode uniform，则响应中会额外包含一个 hint 字段：

{
  "hint": "Video is 30 minutes long. This is a uniform overview. For better scene coverage re-run with --mode highlight, or use --start/--end to zoom into a specific section."
}

处理长视频的推荐工作流：

首次运行时使用 --mode highlight —— 全局展示关键场景变化
若用户需聚焦于某一段落细节，则重新运行并指定 --start N --end N

执行出错时，错误信息将写入标准错误输出（stderr），格式为：ERROR: + Hint: ，并以退出码 1 终止进程。

注入流程

步骤 1 — 运行脚本（bash 工具）：

node {baseDir}/scripts/inject.mjs "/path/to/video.mp4"

步骤 2 — 解析 JSON：
提取 gridPath 和 description 字段。

步骤 3 — 注入图像（read 工具）：

read

read 工具会将 JPG 图像作为原生多模态图像块注入上下文。
查看完网格图像后，可利用 description 中的 XML 时间戳定位具体帧：

“请查看上方的网格图像。结合 description 中的 XML 时间戳分析视频内容。每个单元格左上角的数字为该帧的索引编号。”

出错时的处理建议：

将 Hint: 后的内容翻译为自然、易懂的中文提示语，避免直接粘贴原始错误输出。
若 read 执行失败 —— /tmp/ 下的文件为临时文件。请重新运行脚本，并立即执行 read 操作。

选项说明

选项	默认值	说明
`--mode uniform`	✅	均匀采样帧（等时间间隔）
`--mode highlight`		基于场景切换的智能采样
`--start N`	`0`	截取起始时间点（单位：秒）
`--end N`	视频末尾	截取结束时间点（单位：秒）

诊断信息

错误信息	可能原因	建议操作
`Input file not found`	文件缺失，或因渠道媒体大小限制被丢弃	请用户直接以文本形式提供文件路径
`corrupt, incomplete, or unsupported format`	文件损坏、传输中断或编码格式不支持	尝试更换其他文件；或使用 `--start`/`--end` 跳过异常片段
`moov atom not found`	MP4 文件不完整（流式上传未完成）	请使用完整文件重试
`ffmpeg not found`	系统未安装 ffmpeg	检查 ffmpeg 是否已正确安装

注意事项

帧数量与单元格尺寸根据视频时长和宽高比自动计算
生成的网格图像尺寸约为 1500×1500 像素，单元格长边为 384–512 像素
时间戳仅存在于 description 的 XML 中，不会叠加显示在图像上
同时支持竖屏与横屏视频
Telegram 用户注意：若消息中未附带视频文件，请检查 OpenClaw 配置中的 channels.telegram.mediaMaxMb 参数 —— 视频可能在渠道层已被截断，未能送达 agent