Voice Recognition_设计多媒体 skill-PHP中文网

Voice Recognition

Polar Sponsor

爱发电赞助

.NET 9.0

立即下载

本地 Whisper 智能语音转文字，无需 API 密钥，完全私密，适用于音频文件和语音消息转录。

QQ 语音识别 – Smart Auto- Model Setch. 将音频写入文字, 使用本地 OpenAI Whisper.

功能概述

QQ 语音识别 – Smart Auto- Model Setch. 将音频写入文字, 使用本地 OpenAI Whisper.是一项面向实际任务的技能，主要用于不需要 API 密钥, 不需要 Internet, 100% 私有；Smart 自动选择动态选择 t。

核心要点

它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。
使用时应结合输入条件选择合适的执行方式，核对必要参数、依赖环境与输出内容，并按原始要求处理异常情况。
从功能定位来看，该技能强调把分散的操作要求整理成清晰、可复用的处理流程，使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。

使用与执行

实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数，再依据技能说明逐步执行；若输入条件不完整，应先补齐信息或采用保守配置，避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期，并对异常提示、缺失字段和边界情况进行处理；

结果检查与注意事项

涉及批量任务时，还应保存进度，避免中断后重复操作。该技能适合用于一次性任务，也可以接入自动化工作流，与其他技能或上层代理配合完成更完整的业务链路；在组合使用时，应明确每一步的输入输出关系，并避免不同步骤之间出现参数冲突。

🎤 语音识别 — 智能自动模型选择

使用本地 OpenAI Whisper将音频转录为文本。无需 API 密钥，无需联网，100% 隐私保护。

智能自动选择会根据您的音频特征动态选取最优模型——您完全无需考虑该用哪个模型。

快速开始

# 自动模式 — 分析音频并自动选择最佳模型
scripts/transcribe.py voice.ogg

# 强制指定特定模型
scripts/transcribe.py voice.ogg --model small

# 指定语言（省略时自动检测）
scripts/transcribe.py voice.ogg --language zh   # 中文（普通话）
scripts/transcribe.py voice.ogg --language en   # 英语
scripts/transcribe.py voice.ogg --language yue  # 粤语

# 显示分段时间戳
scripts/transcribe.py voice.ogg --segments

# 将转录结果保存到文件
scripts/transcribe.py voice.ogg -o transcript.txt

智能自动选择

脚本会分析音频时长与复杂度，并自动选择最优模型：

音频特征	所用模型	原因
短音频（<10 秒），语音清晰	base	速度快（2–3 秒），对简单内容已足够准确。
短音频（<10 秒），混合语言	small	对语码转换（code-switching）具备更优的多语言支持能力。
中等长度（10–60 秒），语音清晰	base	兼顾速度与准确率的平衡选择。
中等长度（10–60 秒），混合语言或带口音	small	可更好处理口音及语言切换。
长音频（1–2 分钟）	small	保持上下文连贯性，同时仍具备足够响应速度。
超长音频（2 分钟以上）	medium	针对长时间录音提供最高精度。

您无需操心模型选择问题，只需传入音频即可。

安装

前提条件

Python 3.10+
pip（Python 包管理器）

通过捆绑安装器安装

python3 scripts/install.py

手动安装

pip install openai-whisper soundfile numpy
pip install torch --index-url https://download.pytorch.org/whl/cpu

使用 requirements.txt 安装

pip install -r requirements.txt
pip install torch --index-url https://download.pytorch.org/whl/cpu

注意：首次运行将下载 Whisper 模型（base 约 139MB，small 约 461MB）。后续运行直接复用缓存模型（位于 ~/.cache/whisper/），加载瞬时完成。

模型参考

模型	大小	速度	准确率	适用场景
tiny	72MB	⚡⚡⚡	⭐⭐	实时预览、极短片段
base	139MB	⚡⚡	⭐⭐⭐	通用场景（短音频的自动选择默认模型）
small	461MB	⚡	⭐⭐⭐⭐	混合语言、口音（长/复杂音频的自动选择模型）
medium	1.5GB	🐢	⭐⭐⭐⭐⭐	极致准确率、长时录音
large	2.9GB	🐢	⭐⭐⭐⭐⭐	科研级转录精度

语言支持

Whisper 支持99 种语言，包括：

🇨🇳 中文（普通话、粤语）
🇺🇸 英语
🇪🇸 西班牙语
🇯🇵 日语
🇰🇷 韩语
🇫🇷 法语
🇩🇪 德语

默认启用语言自动检测。如需更高准确率，可使用 --language 参数提供语言提示。

功能特性

功能	说明
🔒 100% 隐私保护	全部流程在本地运行，无任何数据离开您的设备。
🆓 零 API 成本	免费、无限次转录；无配额限制，无需密钥。
🌐 99 种语言支持	覆盖全球几乎所有主流语言。
🧠 智能自动模型选择	分析音频特征 → 自动选取最优模型。
⚡ 默认高效运行	短音频 → base 模型（2–3 秒）；长音频 → small/medium 模型。
🎯 按需提升准确率	面对复杂/混合音频，自动升级至更高精度模型。
📊 分段时间戳	为长录音提供句子级别的时间标记。
📁 多种格式支持	OGG、WAV、MP3、M4A、FLAC、OPUS 等格式。

支持的音频格式

格式	扩展名	说明
OGG Opus	`.ogg`	常见语音消息格式 ✅
WAV	`.wav`	无压缩、高保真音频
MP3	`.mp3`	有损压缩音频
M4A	`.m4a`	Apple / MPEG-4 音频
FLAC	`.flac`	无损压缩音频
OPUS	`.opus`	纯 Opus 流

使用示例

快速转录（自动选择模型）

$ scripts/transcribe.py meeting.ogg
📂 加载音频：meeting.ogg
⏱  时长：32.0 秒 | 采样率：16000Hz
🧠 自动选择模型：BASE
✓ 模型加载完成（1.0 秒）
🎯 正在转录...
✅ 完成（总计耗时 4.1 秒）
会议纪要：今天我们讨论三个主题。第一，项目进展...

带上下文的转录

# 中文
scripts/transcribe.py voice.ogg --language zh

# 带时间戳的英文讲座转录
scripts/transcribe.py lecture.m4a --language en --segments

# 中英混合访谈（自动检测复杂度）
scripts/transcribe.py interview.ogg

# 保存结果至文件
scripts/transcribe.py podcast.mp3 -o transcript.txt

# 强制启用高精度模型
scripts/transcribe.py important.wav --model medium

带分段时间戳的输出

$ scripts/transcribe.py message.ogg --segments
📂 加载音频：message.ogg
⏱  时长：7.5 秒 | 采样率：16000Hz
🧠 自动选择模型：BASE
✓ 模型加载完成（1.0 秒）
🎯 正在转录...
✅ 完成（总计耗时 2.4 秒）
现在我正在给小 A 发这条语音消息，你能听清我说了什么吗？

📝 分段信息：
   [0.0s - 3.6s] 现在我正在给小 A 发这条语音消息
   [3.6s - 7.4s] 你能听清我说了什么吗？

故障排查

问题	解决方案
`No module` 错误	请使用虚拟环境中的 Python： `python3 scripts/transcribe.py`，或运行 `scripts/install.py`
转录速度慢	首次运行需下载模型（约 139–461MB），缓存后即恢复正常速度。
语言识别错误	传入 `--language en` 或 `--language zh` 等参数提供语言提示
背景噪声干扰	在嘈杂环境中，请使用 `--model small` 或 `--model medium`

Token 节省示例

场景	云服务 API 成本	本功能成本	节省量
每日 10 条短语音消息	约 $0.60/天（Whisper API）	$0	∞
1 小时会议转录	约 $2.88（Deepgram）	$0	∞
项目内 1000 个音频文件	约 $50–200	$0	∞
Agent 处理语音输入	LLM tokens + API 费用	0 tokens	全额释放 LLM token 预算