视频广告分析器

基于 Google Gemini Vision 的 AI 视频内容提取工具。

该技能的功能

• 关键帧提取：结合场景切换检测的智能采样
• OCR 文字识别：使用 EasyOCR 提取画面上的文字叠加层
• 音频转录：通过 Google Cloud Speech 将语音转换为文字
• AI 场景分析：利用 Gemini Vision 描述每一帧画面内容
• 原生视频分析：对较长视频内容进行直接视频理解
• 缩略图生成：自动从首帧生成视频缩略图

配置说明

1. 环境变量

# Gemini Vision 所需
GOOGLE_APPLICATION_CREDENTIALS=/path/to/service-account.json

# 音频转录所需
#（同一服务账号需启用 Speech-to-Text API）

2. 依赖项

pip install opencv-python pillow easyocr ffmpeg-python google-cloud-speech vertexai google-api-python-client

系统还需安装 ffmpeg 和 ffprobe。

使用方法

基础视频分析

from scripts.video_extractor import VideoExtractor
from scripts.models import ExtractedVideoContent
import vertexai
from vertexai.generative_models import GenerativeModel

# 初始化 Vertex AI
vertexai.init(project="your-project-id", location="us-central1")
gemini_model = GenerativeModel("gemini-1.5-flash")

# 创建提取器实例
extractor = VideoExtractor(gemini_model=gemini_model)

# 分析视频
result = extractor.extract_content("/path/to/video.mp4")

print(f"时长: {result.duration}s")
print(f"场景数: {len(result.scene_timeline)}")
print(f"文字叠加层数量: {len(result.text_timeline)}")
print(f"转录文本: {result.transcript[:200]}...")

仅提取关键帧

frames, timestamps, text_timeline, scene_timeline, thumbnail = extractor.extract_smart_frames(
    "/path/to/video.mp4",
    scene_interval=2,    # 每 2 秒检测一次场景切换
    text_interval=0.5    # 每 0.5 秒检测一次文字
)

图像分析

# 同样支持图像输入
result = extractor.extract_content("/path/to/image.jpg")
print(result.scene_timeline[0]['description'])

输出结构

ExtractedVideoContent(
    video_path="/path/to/video.mp4",
    duration=30.5,
    transcript="Here's what we found...",
    text_timeline=[
        {"at": 0.0, "text": ["Download Now"]},
        {"at": 5.5, "text": ["50% Off Today"]}
    ],
    scene_timeline=[
        {"timestamp": 0.0, "description": "Woman using phone app..."},
        {"timestamp": 2.0, "description": "Product showcase with features..."}
    ],
    thumbnail_url="/static/thumbnails/video_thumb.jpg",
    extraction_complete=True
)

核心特性

提示词（Prompts）

可通过编辑 prompts/ 目录下的提示文件来自定义 AI 行为：

• scene_analysis.md —— 单帧分析提示词
• scene_reconciliation.md —— 场景增强提示词

常见问题解答

• “这段视频广告中出现了哪些文字？”
• “请逐个描述该创意中的每个场景”
• “旁白说了什么？”
• “请从该广告中提取行动号召（CTA）”