部署一套全自动实时直播脚本监控系统。该系统可捕获直播音频(支持流拉取 / BlackHole / VB-Cable),执行实时语音识别(ASR)(支持阿里云 / iFlytek / 腾讯云 / 百度),基于滑动窗口频率检测机制,将识别结果与可配置的场景模板中的关键词进行匹配,并通过 WebSocket 将告警推送至大屏看板,支持自动按关键词切换场景。跨平台支持:macOS。
live-script-monitor — 直播话术巡检系统
功能概述
live-script-monitor — 直播话术巡检系统是一项面向实际任务的技能,主要用于实时采集直播音频 → ASR 语音转写 → 关键词检测 → 场景自动切换 → 告警推送 → 大屏可视化;截图说明 (从左到右、从上到下):;
核心要点
- 实时语音识别区 :流式转写文字,逐字更新;
- 场景指示器 :右上角显示当前场景编号和名称(如 S004 客服互动 );
- 告警状态灯 :绿色=正常 / 黄色=警告 / 红色=严重违规,下。
使用与执行
它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;
结果检查与注意事项
若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
live-script-monitor — 直播话术巡检系统
实时采集直播音频 → ASR 语音转写 → 关键词检测 → 场景自动切换 → 告警推送 → 大屏可视化。
效果截图

截图说明(从左到右、从上到下):
- 实时语音识别区:流式转写文字,逐字更新
- 场景指示器:右上角显示当前场景编号和名称(如
S004 客服互动) - 告警状态灯:绿色=正常 / 黄色=警告 / 红色=严重违规,下方显示倒计时
- 告警历史面板:时间戳 + 场景名 + 触发规则说明,按时间倒序排列
- 关键词追踪栏:右侧显示各关键词最近命中时间和间隔
系统架构
live-script-monitor/ ├── assets/dashboard/ # 大屏前端 (Vue.js 3 SPA) │ ├── index.html # 主页面 (含弹窗管理后台) │ └── vue.global.prod.js # Vue 本地文件 (不依赖 CDN, 通过 /static/ 挂载) ├── scripts/ # Python 后端 │ ├── main.py # 主入口 (LiveMonitorApp) │ ├── config.yaml # 配置文件 (含场景/规则/ASR密钥) │ ├── audio_capture.py # 音频采集 (跨平台: BlackHole/VB-Cable/WASAPI) │ ├── asr_base.py # ASR 抽象基类 + 工厂方法 │ ├── asr_aliyun.py # 阿里云 ASR 驱动 (WebSocket + httpx Token) │ ├── asr_iflytek.py # (预留) 科大讯飞 ASR 驱动 │ ├── asr_tencent.py # (预留) 腾讯云 ASR 驱动 │ ├── asr_baidu.py # (预留) 百度 ASR 驱动 │ ├── rule_engine.py # 规则引擎 (关键词检测/场景切换/告警) │ ├── dashboard_server.py # HTTP+WS 大屏服务 (FastAPI+Uvicorn) │ └── requirements.txt # Python 依赖 └── recordings/ # 录制输出目录
数据流
系统音频 ──→ BlackHole/VB-Cable ──→ FFmpeg(avfoundation/dshow) ──→ PCM s16le 16kHz mono ──→ AudioCapture._emit_audio() ──→ ASR.send_audio() ──→ 阿里云 NLS WebSocket ──→ TranscriptionResultChanged(中间结果) ──→ 大屏流式显示 + 规则引擎 ──→ SentenceEnd(最终结果) ──→ 大屏历史记录 + 规则引擎全量检查 ──→ 关键词命中 ──→ 场景切换 + 告警判定 ──→ 大屏推送告警
快速启动
cd live-script-monitor/scripts # 1. 创建虚拟环境并安装依赖 python3 -m venv .venv source .venv/bin/activate # macOS .venvScriptsactivate # Windows pip install -r requirements.txt # 2. 编辑 config.yaml 填入阿里云 ASR 密钥 # 3. 启动 (推荐 system_audio 模式) python main.py --config config.yaml # 4. 打开大屏 # http://localhost:9999
音频采集配置 (重点)
系统支持 4 种采集模式,在 config.yaml 的 streamer.capture_mode 中配置:
| 模式 | 说明 | 适用场景 |
|---|---|---|
system_audio |
系统声卡捕获 (推荐) | macOS/Windows 直接采集系统输出音频 |
stream |
拉取 RTMP/FLV 直播流 | 有推流地址时 |
hybrid |
先试拉流,失败切系统声卡 | 不确定推流地址是否可用 |
watch |
监听录制目录文件 | 配合 DouyinLiveRecorder 使用 |
推荐使用
system_audio。hybrid模式会先尝试拉流(必失败等 15 秒超时),浪费时间。
macOS — BlackHole 虚拟声卡
1. 安装 BlackHole
brew install blackhole-2ch
2. 创建多输出设备
打开「音频 MIDI 设置」(Spotlight 搜索 "Audio MIDI Setup"):
- 左下角点击
+→ 选择「创建多输出设备」 - 右侧勾选:
- BlackHole 2ch — 用于系统采集
- 扬声器/耳机 — 用于正常听声音
- 主设备选你的扬声器/耳机
- 确保这个「多输出设备」是系统默认输出设备
不创建多输出设备的话,你将听不到声音(全部被 BlackHole 截走)。
3. macOS 麦克风权限 (关键!)
macOS 会按启动进程的父应用检查麦克风权限。从 WorkBuddy/Terminal 启动的 Python → FFmpeg 子进程,需要父应用有麦克风权限。
首次运行时系统会弹窗请求麦克风权限,必须点「允许」。
如果之前拒绝了,需要重置权限重新弹窗:
# 重置指定应用的麦克风权限 (下次运行会重新弹窗) tccutil reset Microphone com.workbuddy.workbuddy # WorkBuddy tccutil reset Microphone com.apple.Terminal # Terminal
权限状态查询:
sqlite3 ~/Library/Application Support/com.apple.TCC/TCC.db "SELECT client, auth_value FROM access WHERE service='kTCCServiceMicrophone';" # auth_value: 0=拒绝, 2=允许
无麦克风权限的表现:FFmpeg 报 Cannot use BlackHole 2ch,或抓到全零数据。
4. 验证音频采集
# 列出 avfoundation 设备,确认 BlackHole 索引 ffmpeg -f avfoundation -list_devices true -i "" 2>&1 | head -20 # 测试抓 3 秒音频 ffmpeg -f avfoundation -i ":0" -f s16le -ac 1 -ar 16000 -t 3 /tmp/test.raw 2>&1 # 播放声音的同时抓取,检查文件非零字节比例
5. FFmpeg 命令 (macOS)
系统自动构建的命令:
ffmpeg -f avfoundation -i ":0" -f s16le -acodec pcm_s16le -ac 1 -ar 16000 -loglevel error pipe:1
:0— 音频设备索引 0(BlackHole 2ch),视频设备留空s16le— 16 位小端 PCMac 1— 单声道ar 16000— 16kHz 采样率(阿里云 ASR 要求)
Windows — VB-Cable 虚拟声卡
1. 安装
# FFmpeg winget install ffmpeg # VB-Cable (需手动下载) # https://vb-audio.com/Cable/ # 运行 VBCABLE_Setup_x64.exe → 重启
2. 配置
- 系统声音设置 → 输出设备选「CABLE Input」
- 系统声音设置 → 输入设备选「CABLE Output」
- 这样系统音频 → CABLE Input → CABLE Output → FFmpeg 采集
3. Windows 也可用 WASAPI / Stereo Mix
audio_capture.py 的 capture_system_audio() 会自动检测 VB-Cable。如果安装了「立体声混音」(Stereo Mix),也可直接使用。
启用立体声混音:系统托盘 → 声音 → 录制 → 右键空白处 → 显示禁用设备 → 启用「立体声混音」。
音频参数 (config.yaml)
streamer:
capture_mode: system_audio # 推荐值
audio:
sample_rate: 16000 # 阿里云 ASR 要求 16kHz
channels: 1 # 单声道
format: s16le # 16位小端 PCM
chunk_seconds: 1 # 每片 1 秒,越小延迟越低
静音检测
_emit_audio() 会采样检测非零字节比例:
- 0-1% 非零 — 可能无音频播放或路由未配好,打印 WARNING
- 正常播放时 — 非零比例通常 40-100%
注意:没有声音播放时 BlackHole 抓到全零是正常现象,不是 Bug。
阿里云 ASR 配置
前置条件
- 阿里云控制台开通「智能语音交互」服务
- 创建项目,获取 AppKey
- 创建 AccessKey(需 AliyunNLSFullAccess 权限)
- 确认区域(默认 cn-shanghai)
config.yaml 配置
asr_provider: aliyun
aliyun_asr:
enabled: true
app_key: "你的AppKey"
access_key_id: "你的AccessKeyId"
access_key_secret: "你的AccessKeySecret"
url: "wss://nls-gateway-cn-shanghai.aliyuncs.com/ws/v1"
params:
format: pcm
sample_rate: 16000
enable_intermediate_result: true # 开启流式中间结果
enable_punctuation_prediction: true
enable_inverse_text_normalization: true
Token 获取方式
使用 httpx 直接调用阿里云 CreateToken REST API,通过 HMAC-SHA1 签名鉴权。不需要安装 aliyun-python-sdk-core 或 aliyunsdkcore。
ASR 消息处理
| 消息类型 | 说明 | 处理方式 |
|---|---|---|
TranscriptionStarted |
识别已启动 | 设置 _transcription_started=True,开始接收音频 |
SentenceBegin |
句子开始 | 日志记录 |
TranscriptionResultChanged |
流式中间结果 | 推送大屏(流式显示)+ 送规则引擎 |
SentenceEnd |
句子结束 | 推送大屏(历史记录)+ 规则引擎全量检查 |
TranscriptionCompleted |
识别完成 | 同 SentenceEnd |
TaskFailed |
任务失败 | 记录完整错误,重置状态 |
send_audio()发送的是原始 PCM 二进制数据,不需要自定义二进制头。阿里云 NLS WebSocket 直接接收裸 PCM。
流式输出与规则引擎
ASR 流式输出
TranscriptionResultChanged(中间结果)每次都推送到大屏,实现逐字输出效果:
ASR中间结果 → push_partial_transcript() → 大屏替换当前行 (不是追加) ASR最终结果 → push_transcript() → 大屏追加到历史记录
规则引擎处理 partial 结果
process_text(text, is_partial=True)— 中间结果:关键词级去重(同一关键词同句只计一次),规则检查process_text(text, is_partial=False)— 最终结果:重置去重集合,全量规则检查_check_rule中 dedup 检查在告警判定之后,只有确实要触发告警才检查去重
场景切换 (auto_keyword 模式)
config.yaml 中 app.scene_mode: auto_keyword 时启用关键词驱动场景切换:
detect_scene_by_keywords基于switch_keywords精确子串匹配- 阈值:新场景得分 >= 1 且 > 当前场景得分即可切换
switch_keywords需要匹配实际直播话术,配置不当会导致场景识别不准
关键词匹配
- 精确子串匹配优先
- 长度 >= 3 的关键词启用模糊匹配 (
fuzzysearch,max_l_dist=1) - 短关键词(如"欢迎")仅精确匹配,避免误匹配
告警规则类型
| 类型 | 说明 | 触发条件 |
|---|---|---|
absence_alert |
缺失告警 | 时间窗口内关键词命中次数 < min_hits |
frequency_alert |
频次告警 | 时间窗口内核心短语命中次数 < min_hits |
告警去重:同一 scene_id + rule_type + window 组合在 5 分钟内只触发一次。
大屏与管理后台
- 大屏地址:
http://localhost:9999 - 管理后台:大屏右上角齿轮图标 → 弹窗
- 保存配置后自动热重启(
os.execv原地重启,不依赖外部脚本) - 前端
saveSystemConfig()自动设enabled: true,确保填了凭证后 ASR 能正常启用
前端技术栈
- Vue.js 3 (本地引用
static/vue.global.prod.js,不依赖 CDN) - WebSocket 实时推送
- 暖色调 UI(品牌色 #f76c23)
ASR 服务启动流程
main.py 启动顺序:
- 规则引擎初始化(内存模式,无需 Redis)
- 大屏服务初始化(FastAPI + Uvicorn)
- ASR 初始化 → 检查占位符 → 创建客户端
- 音频采集初始化
- 启动异步任务:
_run_dashboard_async()— HTTP+WS 服务_run_audio_capture()— 根据 capture_mode 启动采集_run_asr()— ASR WebSocket 连接_monitor_stream_status()— 状态监控
场景与规则配置 (config.yaml)
scenes:
- id: S001
name: 开场暖场
duration_minutes: 5
switch_keywords: [欢迎, 直播间, 新朋友, 关注]
rules:
- type: absence_alert
window_seconds: 180 # 3分钟窗口
min_hits: 1 # 至少命中1次
alert_level: red # red=严重, yellow=警告
message: "开场环节:3分钟内未出现欢迎话术"
keywords: [欢迎, 直播间, 基诺浦]
_enabled: true
switch_keywords是场景切换关键词,rules[].keywords是告警检测关键词,两者独立配置。
故障排查
部署检查清单
- 端口 9999 是否 LISTENING
- 日志中是否有「阿里云 ASR 识别已开始」
- 日志中是否有「已发送 N 个音频块」
- 日志中是否有「ASR 中间结果」或「ASR 句子结束」
- macOS: 检查麦克风权限 (
tccutil reset Microphone) - 检查 config.yaml 是否有真实密钥(非占位符)
- 检查
capture_mode是否为system_audio(hybrid 会先拉流等 15 秒)
常见问题速查
| 问题 | 原因 | 修复 |
|---|---|---|
| Vue.js 白屏 | unpkg CDN 被墙 | 下载 vue.global.prod.js 本地引用 |
| Vue 白屏(CDN 解决后仍黑) | return 语句含未定义 sysFields | 删除 sysFields |
| 管理后台保存按钮无反应 | loadSystemConfig/saveSystemConfig 未暴露到 Vue return | 补上 return 语句 |
| 管理后台非弹窗 | 旧版本 inline 代码 | 改为 modal 弹窗 (admin-overlay + admin-modal) |
| 保存配置后服务挂了 | os._exit(0) 自杀(无 run.sh 时无法复活) |
改为 os.execv 原地重启 |
| ASR 填了正确 key 但不生效 | aliyun_asr.enabled 仍为 false |
前端 saveSystemConfig 自动设 enabled:true |
| ASR error 40000004 | send_audio 发了自定义二进制头 |
直接发送原始 PCM 字节 |
| ASR IDLE_TIMEOUT 超时 | 麦克风权限未授予(WorkBuddy 进程) | tccutil reset Microphone 重置权限 |
| ASR 连接成功但无转写文字 | TranscriptionResultChanged 过滤条件过严 (len+3) | 去掉长度过滤,有 result 就输出 |
| aliyunsdkcore 缺 auth.credentials | SDK 版本过旧 | 改用 httpx 直接调 CreateToken API |
| capture_mode=hybrid 先拉流等 15 秒 | 拉流必失败才降级 | config.yaml 改 capture_mode: system_audio |
| BlackHole 抓到全零数据 | 当前没有声音在播放 | 正常现象,播放音频时会有非零数据 |
| FFmpeg 报 Cannot use BlackHole | macOS 麦克风权限未授予 | tccutil reset Microphone 重置权限 |
| 转写文字一段一段蹦 | 中间结果有 len+3 过滤 | 去掉过滤,每次中间结果都推送 |
| 场景识别不准 | switch_keywords 不匹配实际话术 | 根据实际直播话术调整 config.yaml |
| 告警规则不执行 | process_text 只在 final 结果时调用 | partial 结果也送入规则引擎 |
| 告警被 dedup 阻止 | dedup 检查在告警判定之前 | dedup 移到告警判定之后 |
| fuzzysearch 误匹配短词 | max_l_dist=2 太松 | 改为 max_l_dist=1,短词仅精确匹配 |
| 场景切换阈值过高 | 要求领先 2 分才切换 | 降为 best_score >= 1 且 > current_score |
| 外部浏览器打不开 | IPv6 不通 | dashboard_server.py 绑定 "::" (双栈) |
| 页面报 {"error":"dashboard not found"} | static_dir 路径不对 | config.yaml: static_dir: ../assets/dashboard |
更新日志
v2.0.0 (2026-06-18)
音频采集
- 新增 macOS BlackHole 详细配置文档(多输出设备、麦克风权限、验证步骤)
- 新增
_emit_audio()静音检测(多位置采样非零比例) - FFmpeg 子进程退出后读取 stderr 输出,方便排查
- FFmpeg 进程异常退出后自动重试(3 秒间隔)
capture_mode推荐改为system_audio(避免 hybrid 等 15 秒)
ASR 驱动 (阿里云)
- 去掉 aliyunsdkcore SDK 依赖,改用 httpx + HMAC-SHA1 直接调 CreateToken API
send_audio()发送原始 PCM 字节,去掉自定义二进制头(修复 error 40000004)- 新增
_transcription_started标志,等服务器确认后才开始发音频 TranscriptionResultChanged去掉 len+3 过滤,每次都推送(修复流式输出)ping_interval/ping_timeout修正为合理值(20s/10s)disconnect()使用正确的 task_id 和 appkey
规则引擎
process_text新增is_partial参数,partial 结果也送入规则引擎- 关键词级去重(
_recorded_keywords),同一关键词同句只计一次 _check_rule中 dedup 移到告警判定之后(修复告警不触发)_match_keyword模糊匹配收紧:max_l_dist=1,短词仅精确匹配detect_scene_by_keywords切换阈值降低:best_score >= 1 且 > current_score- 删除
detect_scene_by_keywords中的死代码
大屏前端
- Vue CDN 改为本地引用 (
static/vue.global.prod.js) - 管理后台从 inline 改为 modal 弹窗
saveSystemConfig自动设enabled: true- 补回
loadSystemConfig/saveSystemConfig到 Vue return
配置
- config.yaml 密钥脱敏(发布前替换为占位符)
- requirements.txt 更新(去掉 aliyunsdkcore,加 httpx)
v1.0.0
- 初始版本
- 支持 macOS/Windows 跨平台音频采集
- 阿里云 ASR 实时语音转写
- 关键词检测 + 场景切换 + 告警推送
- FastAPI + WebSocket 大屏
热门AI工具
相关专题
Java4Shell是OpenJDK Base64解码路径中的远程代码执行漏洞,编号CVE-2026-114938,2026年11月17日披露,官方已发布17.0.21.1、21.0.13.1等修复版本,建议优先升级 。本专题围绕Java4Shell(CVE-2026-114938)持续更新,从漏洞原理、受影响版本、受影响产品到修复与自查一站式汇总,适合Java开发、运维与安全人员快速定位风险。ARM64环境不受影响,x86-64环境请
0
2026.11.22
本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。
0
2026.11.20
本专题整理Navicat入门教程,从认识软件界面到开展数据库操作,介绍初次使用需要了解的知识和方法。内容兼顾连接配置、数据管理及日常使用中的疑问,方便用户按学习进度查阅,为后续实践和独立操作打好基础。
0
2026.11.20
从确认数据库信息到建立可用连接,本专题串联Navicat连接数据库的相关知识和操作方法。既有初次配置时需要了解的基础内容,也有连接后的检查思路,方便用户按实际需求查阅教程,逐步熟悉数据库连接的设置流程。
0
2026.11.20
本专题汇总PHP8.6数组与数据处理教程,涵盖CSV读取和导出、引用遍历删除、array_filter回调模式、配置键名冲突、pathinfo文件名校验、GMP大整数进制转换及UTF-8正则筛选,说明升级兼容变化、输入范围和失败处理方法。
0
2026.11.20
本专题汇总PHP8.6升级迁移与弃用接口改造教程,涵盖反射调用、对象属性赋值、标识符更名、构造函数与__debugInfo调整,以及插件类名检查、常量导出、ArrayIterator排序、SPL和DTO查询参数转换,帮助梳理弃用提示并完成代码兼容改造。
0
2026.11.20
本专题汇总PHP8.6正式版安装部署与FPM运维教程,涵盖Linux并存安装、独立ini配置、扩展重新编译、Nginx切换与回滚、FPM状态监控和慢日志排查,以及环境变量、请求超时、OPcache刷新和预加载配置。
0
2026.11.20
Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。
0
2026.11.20
本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。
0
2026.11.17
热门下载
相关下载
精品课程
共6课时 | 12.1万人学习
共79课时 | 162万人学习
共6课时 | 54.8万人学习
最新文章