视频配音技能

当用户希望将源视频转换为带对齐字幕的本地化配音视频时，使用此技能。

该技能集成了完整的 video_pipeline，因此流水线代码随技能安装一并提供。

流水线功能说明

核心工作流程如下：

1. 下载源视频（通过 yt-dlp）
2. 可选：仅用封面图替换片头画面
3. 提取单声道 16kHz 音频
4. 使用 Whisper 进行语音转录
5. 清洗英文文本块、校正专有名词，并执行翻译
6. 生成 TTS（文字转语音）音频
7. 根据配音音频重新调整视频时间轴（retiming）
8. 导出未烧录字幕的对齐 SRT 字幕文件

主控制器为 video_pipeline/scripts/quick_deliver.py。

支持的模式

• 正向本地化：英文视频 → 中文配音视频
• 反向本地化：中文视频 → 英文配音视频

运行要求

环境变量（至少需配置一项）

可选 TTS 提供商（默认无需 API 密钥）

翻译服务提供商

默认使用 DeepSeek API 进行翻译。如需更换为其他提供商，请编辑 video_pipeline/scripts/services/deepseek_translator.py，将基础 URL 替换为您指定的 API 地址（例如 OpenAI、Anthropic、Grok 等）。翻译接口已标准化，任何支持 chat completions 的大语言模型（LLM）API 均可接入。

系统依赖（必须预先安装）

• Python 3.10+
• ffmpeg 与 ffprobe（须加入系统 PATH）
• node（yt-dlp 的 JavaScript 运行时所需）

Python 包依赖

pip install -r video_pipeline/requirements.txt

关键依赖包：yt-dlp、openai-whisper、torch、ffmpeg-python、edge-tts

默认配置

• Whisper 模型：small
• TTS 提供商：edge（无需 API 密钥）
• Edge 合成音色：zh-CN-YunjianNeural
• 翻译服务：DeepSeek API
• 重定时填充时长：0.05s
• 最终字幕输出文件名：*_zh_retimed_v4_final.srt

反向本地化（中→英）推荐英文音色：en-US-GuyNeural

专有名词术语表（Glossary）

增强阶段会在翻译前自动应用本地术语表。

可用于规范化以下内容：

• 地名
• 人名与机构名
• 高频出现的技术或军事术语

推荐 JSON 格式示例：

{
  "terms": [
    { "canonical": "Kyiv" },
    {
      "canonical": "Armed Forces of the Russian Federation",
      "aliases": [
        "armed force of the Russian Federation",
        "Amodovvoso-Durasian Federation"
      ],
      "min_similarity": 0.72
    }
  ]
}

规则说明：

• canonical 字段为必填项。
• aliases 字段为可选项。
• 若省略 aliases，仍会以 canonical 为基础参与模糊匹配。
• min_similarity 字段为可选项。
• 术语表随流水线包一同分发，使用主控制器时无需额外手动加载步骤。

运行流水线

# 首先安装依赖
pip install -r video_pipeline/requirements.txt

# 设置必需的环境变量
$env:DEEPSEEK_API_KEY="your_deepseek_api_key"  # 翻译必需

# 可选：提升 YouTube 下载稳定性
$env:YTDLP_COOKIES_FILE="pathtoyoutube_cookies.txt"
$env:NODE_OPTIONS="--max-old-space-size=4096"

# 执行流水线
cd video_pipeline
python .scriptsquick_deliver.py "https://www.youtube.com/watch?v=VIDEO_ID"

如需重建已处理过的视频：

python .scriptsquick_deliver.py "https://www.youtube.com/watch?v=VIDEO_ID" --refresh-tts

预期输出结果

正向本地化成功运行后，将生成：

• video_pipeline/data/output/*_zh_retimed_v4.mp4 — 最终配音视频
• video_pipeline/data/subtitles/*_zh_retimed_v4_final.srt — 最终字幕文件

可选输出（依配置而定）：

• video_pipeline/data/output/*_zh_male.mp4
• video_pipeline/data/subtitles/*_zh.srt
• video_pipeline/data/subtitles/*_zh_retimed_v4.srt
• video_pipeline/data/structured/*.json
• video_pipeline/data/state/debug/*_en_blocks.json

智能体（Agent）调用指南

当智能体调用本技能时，应执行以下步骤：

1. 校验输入 URL（仅支持 YouTube 或 Bilibili）
2. 设置必需环境变量（如翻译所需的 DEEPSEEK_API_KEY）
3. 确认系统依赖已安装（ffmpeg、node、Python 3.10+）
4. 在 video_pipeline 子目录下运行 quick_deliver.py
5. 返回最终视频与字幕文件的路径
6. 若用户请求部分重跑，应尽可能仅重建指定阶段

已知限制

• YouTube 下载可能因触发机器人检测而需要 cookies 文件
• 视频处理过程需占用大量磁盘空间（用于暂存中间文件）
• 默认 TTS（Edge）无需 API 密钥，但需联网

安全说明

本技能采用视频处理领域常见实践，可能被自动化安全扫描器误报：

• subprocess：用于调用 ffmpeg、ffprobe 和 yt-dlp 等合法系统工具进行音视频处理。
• os.getenv("DEEPSEEK_API_KEY")：API 密钥仅从环境变量读取，绝无硬编码。
• decode()：音频/视频数据解码仅用于正常处理流程，非恶意用途。

上述均为视频处理流水线的标准实践，不表示存在任何恶意行为。本代码不会：

• 向未授权端点传输数据
• 下载或执行远程代码
• 存储或泄露凭据信息

若您使用的安全扫描器拦截了本技能，可通过审查 video_pipeline/scripts/ 目录下的源码进行人工验证。

打包说明

本技能发布时已将流水线代码完整打包至 video_pipeline/ 子目录中。

打包内容排除所有生成物与缓存目录（如 data/raw/、data/audio/、data/tts/、data/output/、data/state/ 等）。

如需从源码重建发布包，请执行：

.scriptspackage_release.ps1 -SourceRoot "D:video_pipeline" -DestinationRoot ""