使用 Gemma4 模型分析视频文件时使用
Gemma 4 视频分析
功能概述
Gemma 4 视频分析是一项面向实际任务的技能,主要用于Scripts 目录 — 可执行工具隔离在 scripts/ 中;单文件工具 — 所有逻辑都在 scripts/analyze_video.py 中;
核心要点
- 函数式分解 — readVideoAsDataUri 、 createClient 、 analyzeVideo 、 main;
- 类型注解 — 所有公共函数都带类型注解(遵循项目 Python 约定)。
- 它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。
使用与执行
从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。
结果检查与注意事项
执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。该技能适合用于一次性任务,也可以接入自动化工作流,与其他技能或上层代理配合完成更完整的业务链路;在组合使用时,应明确每一步的输入输出关系,并避免不同步骤之间出现参数冲突。
Gemma 4 视频分析
代码架构
gemma4-video-analysis/ ├── .env # 环境变量(base_url、key、model) ├── .env.example # 所需环境变量的模板 ├── scripts/ │ └── analyze_video.py # 独立 CLI 入口 └── SKILL.md # 本技能参考文档
- Scripts 目录 — 可执行工具隔离在
scripts/中 - 单文件工具 — 所有逻辑都在
scripts/analyze_video.py中 - 函数式分解 —
readVideoAsDataUri、createClient、analyzeVideo、main - 类型注解 — 所有公共函数都带类型注解(遵循项目 Python 约定)
- 边界校验 — 在 CLI 边界进行输入检查(环境变量、文件存在性)
- 不修改全局状态 — 环境在导入后只读
工作流
通过 video_url 分析本地视频
digraph video_analysis_workflow {
"从 .env.example 创建 .env" [shape=box];
"运行 python scripts/analyze_video.py [路径]" [shape=box];
"load_dotenv 读取 GEMMA4_*" [shape=box];
"校验环境变量 + 文件" [shape=box];
"Base64 编码视频" [shape=box];
"发送 video_url + 提示词" [shape=box];
"打印模型响应" [shape=doublecircle];
"显示错误并退出 1" [shape=box];
"从 .env.example 创建 .env" -> "运行 python scripts/analyze_video.py [路径]";
"运行 python scripts/analyze_video.py [路径]" -> "load_dotenv 读取 GEMMA4_*";
"load_dotenv 读取 GEMMA4_*" -> "校验环境变量 + 文件";
"校验环境变量 + 文件" -> "Base64 编码视频" [label="通过"];
"校验环境变量 + 文件" -> "显示错误并退出 1" [label="失败"];
"Base64 编码视频" -> "发送 video_url + 提示词";
"发送 video_url + 提示词" -> "打印模型响应" [label="通过"];
"发送 video_url + 提示词" -> "显示错误并退出 1" [label="失败"];
}
- 复制
.env.example到.env,并填写GEMMA4_BASE_URL、GEMMA4_API_KEY、GEMMA4_MODEL - (可选)在
.env中设置GEMMA4_DEFAULT_VIDEO作为默认视频路径 - 运行
python scripts/analyze_video.py [ 可选的视频路径 ] - 脚本通过
load_dotenv加载.env,校验环境变量和文件存在性,然后对视频进行 base64 编码 - 通过 OpenAI 兼容接口
/v1/chat/completions发送video_url+ 文本提示词 - 打印模型响应
回退方案:当 video_url 不受支持时提取帧
如果后端服务不支持 video_url:
- 以 1 FPS 提取帧(60 秒上限内最多 60 帧)
- 将每帧编码为 base64
image_url - 将所有帧与提示词一起放在单个
messages[0].content数组中发送
错误处理模式
- 缺少环境变量 → 打印缺失变量名和示例
export命令,以代码1退出 - 文件缺失 → 打印绝对路径,以代码
1退出 - API 调用失败 → 在
try/except中捕获,打印异常信息,以代码1退出 - 不静默吞错 — 所有错误都会输出到终端
配置约定
| 约定 | 值 | 说明 |
|---|---|---|
| 配置文件 | 项目根目录下的 .env |
标准做法,通过 .env.example 友好地纳入版本控制 |
| 环境变量前缀 | GEMMA4_ |
防止与其他 OpenAI 兼容工具冲突 |
| 超时时间 | 300.0 秒 |
大体积 base64 负载(>80 MB)需要比默认 60 秒更充裕的时间 |
| 默认提示词 | 用中文描述视频 | 与项目面向用户的语言偏好保持一致 |
| 最大 Token 数 | 2048 |
足以生成详细的场景描述 |
| Top K | 64 |
通过 extra_body 传递给后端,控制采样多样性 |
测试模式
目前这个最小化工具还没有自动化测试套件。手动验证清单:
- 不带
.env运行 → 预期会友好地提示缺失变量 - 文件不存在时运行 → 预期会友好地报错
- 使用有效的 30 秒 MP4 运行 → 预期会输出中文描述
反模式
| 模式 | 失败原因 | 正确做法 |
|---|---|---|
在源码中硬编码 base_url 或 api_key |
无法跨环境复用;存在密钥泄露风险 | 使用 .env + python-dotenv |
将 .env 提交到 git |
泄露密钥和环境专属 URL | 只提交 .env.example;将 .env 加入 .gitignore |
| 向 31B Dense 模型传入含音频的期望 | Gemma 4 31B 不处理音频;只有 E2B/E4B 才支持 | 如需处理音频,请单独转录 |
| 上传 5 分钟视频 | 超过 60 秒的帧预算;可能导致 OOM 或被截断 | 分析前裁剪到 60 秒 |
后端不支持 video_url 时未配置回退 |
部分服务可能只接受图片帧 | 提供帧提取回退逻辑 |
速查参考
# 1. 安装依赖 pip install openai python-dotenv # 2. 准备环境 cp .env.example .env # 编辑 .env,填入你的端点地址和凭据 # 3. 运行 python scripts/analyze_video.py # 默认视频 python scripts/analyze_video.py my_video.mp4 # 指定视频
热门AI工具
相关专题
Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。
0
2026.10.28
Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章,帮助读者完成从初始化到日常开发的配置。
0
2026.10.28
Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章,帮助读者理解各文件夹的用途与引用方式。
0
2026.10.28
本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。
0
2026.10.22
本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。
0
2026.10.22
本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。
0
2026.10.22
本专题介绍Gradle Java项目构建方法,涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查,帮助你理解各阶段的任务关系,逐步完成项目构建。
0
2026.10.22
本专题汇总PHP常见时间戳漏洞,包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等,并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案,帮助开发者快速排查和加固时间相关代码。
0
2026.10.22
本专题聚焦Golangci-lint YAML配置文件,讲清运行参数、规则启停、目录排除、问题过滤及严重级别设置,便于团队统一检查标准。
0
2026.10.22
热门下载
相关下载
精品课程
共6课时 | 12.1万人学习
共79课时 | 161.6万人学习
共6课时 | 54.7万人学习
最新文章