讲师中心 微信公众号
AI工具推荐 视频效率加速

gemma4-video-analysis

Polar Sponsor
爱发电 赞助
.NET 9.0

使用 Gemma4 模型分析视频文件时使用

Gemma 4 视频分析

功能概述

Gemma 4 视频分析是一项面向实际任务的技能,主要用于Scripts 目录 — 可执行工具隔离在 scripts/ 中;单文件工具 — 所有逻辑都在 scripts/analyze_video.py 中;

核心要点

  • 函数式分解 — readVideoAsDataUri 、 createClient 、 analyzeVideo 、 main;
  • 类型注解 — 所有公共函数都带类型注解(遵循项目 Python 约定)。
  • 它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。

使用与执行

从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。

结果检查与注意事项

执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。该技能适合用于一次性任务,也可以接入自动化工作流,与其他技能或上层代理配合完成更完整的业务链路;在组合使用时,应明确每一步的输入输出关系,并避免不同步骤之间出现参数冲突。

Gemma 4 视频分析

代码架构

gemma4-video-analysis/
├── .env                   # 环境变量(base_url、key、model)
├── .env.example           # 所需环境变量的模板
├── scripts/
│   └── analyze_video.py   # 独立 CLI 入口
└── SKILL.md               # 本技能参考文档
  • Scripts 目录 — 可执行工具隔离在 scripts/ 中
  • 单文件工具 — 所有逻辑都在 scripts/analyze_video.py 中
  • 函数式分解 — readVideoAsDataUri、createClient、analyzeVideo、main
  • 类型注解 — 所有公共函数都带类型注解(遵循项目 Python 约定)
  • 边界校验 — 在 CLI 边界进行输入检查(环境变量、文件存在性)
  • 不修改全局状态 — 环境在导入后只读

工作流

通过 video_url 分析本地视频

digraph video_analysis_workflow {
    "从 .env.example 创建 .env" [shape=box];
    "运行 python scripts/analyze_video.py [路径]" [shape=box];
    "load_dotenv 读取 GEMMA4_*" [shape=box];
    "校验环境变量 + 文件" [shape=box];
    "Base64 编码视频" [shape=box];
    "发送 video_url + 提示词" [shape=box];
    "打印模型响应" [shape=doublecircle];
    "显示错误并退出 1" [shape=box];

    "从 .env.example 创建 .env" -> "运行 python scripts/analyze_video.py [路径]";
    "运行 python scripts/analyze_video.py [路径]" -> "load_dotenv 读取 GEMMA4_*";
    "load_dotenv 读取 GEMMA4_*" -> "校验环境变量 + 文件";
    "校验环境变量 + 文件" -> "Base64 编码视频" [label="通过"];
    "校验环境变量 + 文件" -> "显示错误并退出 1" [label="失败"];
    "Base64 编码视频" -> "发送 video_url + 提示词";
    "发送 video_url + 提示词" -> "打印模型响应" [label="通过"];
    "发送 video_url + 提示词" -> "显示错误并退出 1" [label="失败"];
}
  1. 复制 .env.example 到 .env,并填写 GEMMA4_BASE_URL、GEMMA4_API_KEY、GEMMA4_MODEL
  2. (可选)在 .env 中设置 GEMMA4_DEFAULT_VIDEO 作为默认视频路径
  3. 运行 python scripts/analyze_video.py [ 可选的视频路径 ]
  4. 脚本通过 load_dotenv 加载 .env,校验环境变量和文件存在性,然后对视频进行 base64 编码
  5. 通过 OpenAI 兼容接口 /v1/chat/completions 发送 video_url + 文本提示词
  6. 打印模型响应

回退方案:当 video_url 不受支持时提取帧

如果后端服务不支持 video_url:

  1. 以 1 FPS 提取帧(60 秒上限内最多 60 帧)
  2. 将每帧编码为 base64 image_url
  3. 将所有帧与提示词一起放在单个 messages[0].content 数组中发送

错误处理模式

  • 缺少环境变量 → 打印缺失变量名和示例 export 命令,以代码 1 退出
  • 文件缺失 → 打印绝对路径,以代码 1 退出
  • API 调用失败 → 在 try/except 中捕获,打印异常信息,以代码 1 退出
  • 不静默吞错 — 所有错误都会输出到终端

配置约定

约定 值 说明
配置文件 项目根目录下的 .env 标准做法,通过 .env.example 友好地纳入版本控制
环境变量前缀 GEMMA4_ 防止与其他 OpenAI 兼容工具冲突
超时时间 300.0 秒 大体积 base64 负载(>80 MB)需要比默认 60 秒更充裕的时间
默认提示词 用中文描述视频 与项目面向用户的语言偏好保持一致
最大 Token 数 2048 足以生成详细的场景描述
Top K 64 通过 extra_body 传递给后端,控制采样多样性

测试模式

目前这个最小化工具还没有自动化测试套件。手动验证清单:

  1. 不带 .env 运行 → 预期会友好地提示缺失变量
  2. 文件不存在时运行 → 预期会友好地报错
  3. 使用有效的 30 秒 MP4 运行 → 预期会输出中文描述

反模式

模式 失败原因 正确做法
在源码中硬编码 base_url 或 api_key 无法跨环境复用;存在密钥泄露风险 使用 .env + python-dotenv
将 .env 提交到 git 泄露密钥和环境专属 URL 只提交 .env.example;将 .env 加入 .gitignore
向 31B Dense 模型传入含音频的期望 Gemma 4 31B 不处理音频;只有 E2B/E4B 才支持 如需处理音频,请单独转录
上传 5 分钟视频 超过 60 秒的帧预算;可能导致 OOM 或被截断 分析前裁剪到 60 秒
后端不支持 video_url 时未配置回退 部分服务可能只接受图片帧 提供帧提取回退逻辑

速查参考

# 1. 安装依赖
pip install openai python-dotenv

# 2. 准备环境
cp .env.example .env
# 编辑 .env,填入你的端点地址和凭据

# 3. 运行
python scripts/analyze_video.py              # 默认视频
python scripts/analyze_video.py my_video.mp4 # 指定视频
目录

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

相关专题

更多
Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

0

2026.10.28

Vite 如何搭配 Vue.js
Vite 如何搭配 Vue.js

Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章,帮助读者完成从初始化到日常开发的配置。

0

2026.10.28

Vite 项目目录怎么看
Vite 项目目录怎么看

Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章,帮助读者理解各文件夹的用途与引用方式。

0

2026.10.28

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

0

2026.10.22

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

0

2026.10.22

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

0

2026.10.22

Gradle怎么构建Java项目
Gradle怎么构建Java项目

本专题介绍Gradle Java项目构建方法,涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查,帮助你理解各阶段的任务关系,逐步完成项目构建。

0

2026.10.22

PHP时间戳漏洞修复教程
PHP时间戳漏洞修复教程

本专题汇总PHP常见时间戳漏洞,包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等,并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案,帮助开发者快速排查和加固时间相关代码。

0

2026.10.22

Golangci-lint配置文件与规则设置
Golangci-lint配置文件与规则设置

本专题聚焦Golangci-lint YAML配置文件,讲清运行参数、规则启停、目录排除、问题过滤及严重级别设置,便于团队统一检查标准。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn