必须开通「实时推流API」和「语音识别+唇形同步」权限，选择「实时语音驱动」并配置麦克风或WebRTC，严格遵循16kHz单声道音频要求，通过延迟监控与参数调优确保端到端响应≤2100ms。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在百度一镜平台让数字人实时响应语音输入并驱动口型、表情与动作，必须依托其底层实时交互引擎与多模态同步技术，而非简单调用TTS或播放预录音频。
确认账号与服务权限
登录百度一镜控制台 → 进入「实时互动型数字人」产品页 → 检查当前账户是否已开通PAAS服务中的「实时推流API」和「语音识别+唇形同步」组合权限。未开通则无法启用语音驱动链路，【未勾选“实时语音驱动”授权将导致后续所有配置无效】。
若为试用账号，需先完成企业实名认证并提交语音场景用途说明——个人开发者账号默认禁用实时语音通道，防止滥用低时延资源。
部署语音驱动核心组件
方法一：使用百度一镜内置语音接入模块
在数字人实例配置页 →「驱动方式」选择「实时语音驱动」→「语音源」下拉选「麦克风直连」或「WebRTC音频流」→ 开启「自动唇形同步」与「情绪映射开关」→ 保存配置后点击「启动实时会话」。
这一步操作起来很简单，直接把浏览器麦克风权限打开就行，但要注意Chrome 125+版本默认禁止非HTTPS页面访问麦克风，本地调试必须用localhost或部署到HTTPS域名下。
方法二：对接自定义ASR+TTS流水线
调用百度PaddleOCR‑VL大模型API，支持PDF、Word、PPT、图片等多格式文档解析，精准识别印刷体、手写体、表格、公式、图表、印章等复杂元素，支持100+语言，可处理不规则布局和跨页长文档。触发词：文档解析、VLM解析、大模型OCR、PaddleOCR、多模态文档、手写识别、公式识别、复杂版面。
调用百度一镜「实时语音驱动API」（URL路径为/v1/realtime/drive）→ 先用百度ASR SDK将用户语音转为文本 → 将文本送入文心大模型生成应答 → 再调用Zeroshot TTS生成带韵律标记的音频流 → 最后将音频base64编码连同时间戳帧信息POST至驱动API → 数字人端自动解码并触发SadTalker-Video-Lip-Sync唇形渲染引擎。
该路径需自行维护ASR/TTS延迟对齐，误差超过80ms会导致口型抖动；【音频采样率必须严格设为16kHz单声道，否则唇形不同步不可逆】。
验证与调优关键参数
第一步：发起一次3秒语音测试（如说“你好，今天天气怎么样？”）
第二步：观察控制台「实时日志」面板中三类延迟指标：ASR识别耗时、TTS合成耗时、唇形渲染首帧延迟
第三步：若总端到端延迟＞2100ms，进入「性能调优页」→ 关闭「高保真微表情增强」→ 将「唇形精度等级」从L3降至L2 → 重启会话
第四步：用手机录制数字人画面与原始语音，逐帧比对口型开合时刻与音节起始点，偏差＞3帧需重新校准音频缓冲区大小。
第五步：在弱网环境下开启「抗丢包补偿模式」，该模式会主动插入静音帧维持唇形节奏连续性，避免卡顿导致嘴型突变。
