讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

AniShort
AniShort

AI短剧协同制作平台

Seko
Seko

AI短剧一键生成成片

updream

一键生成高质量推广成片

豆包Seed-Realtime客户端迁移:处理打断、播放队列和静音保活

梦雪小哥_8320

梦雪小哥_8320

发布时间:2026-11-19 22:45:34

|

770人浏览过

|

来源于php中文网

原创

将已有实时语音客户端迁移到豆包seed-realtime时,先让response事件统一控制listening和speaking,再把asr事件限制为字幕显示;取消回复时同时停止播放并清空队列。以下方法面向已经具备鉴权websocket连接、音频编码和播放器的客户端,补齐状态控制与静音保活,不替代设备采集和音频解码实现。

先对齐新会话及媒体格式

当前Seed-Realtime的session.model为1.3.0.0。不要照搬其他全双工接口文档中的1.2.6.1。创建会话后确认实际输入输出格式:16kHz/int16输入按20毫秒、640字节实时发送;输出pcm为32位小端序,pcm_s16le才是16位,不能只看名称就用同一种解码器。生产密钥放在受控服务端或官方支持的安全接入层,原生浏览器WebSocket不能任意添加X-Api-Key请求头。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

Seed-Realtime官方会话和媒体交互时序

示例展示会话创建、音视频上行、回复与取消流程。

集中处理下行JSON事件

将下面模块接到已有连接的message处理器。player.pushBase64、stop、clearQueue必须映射到实际播放器:stop停止当前输出,clearQueue清除尚未消费的音频,二者不能只更新一个页面变量。onTranscript和onUsage则接到应用原有展示与计量逻辑。

export function createRealtimeController({send, player, onTranscript, onUsage}) {
  let state = 'LISTENING';
  function receive(event) {
    switch (event.type) {
      case 'response.created':
        state = 'SPEAKING';
        break;
      case 'response.output_audio.delta':
        if (state === 'SPEAKING') player.pushBase64(event.delta);
        break;
      case 'response.canceled':
        player.stop();
        player.clearQueue();
        state = 'LISTENING';
        break;
      case 'response.done':
        onUsage(event);
        state = 'LISTENING';
        break;
      default:
        if (event.type?.includes('transcription')) onTranscript(event);
    }
  }
  function setMicrophoneEnabled(enabled) {
    send({type: enabled ? 'input_audio_unmute.commit' : 'input_audio_mute.commit'});
  }
  function resetAfterDisconnect() {
    player.stop();
    player.clearQueue();
    state = 'LISTENING';
  }
  return {receive, setMicrophoneEnabled, resetAfterDisconnect,
    getState: () => state};
}

send负责把对象序列化为JSON文本帧并在已打开的连接上发送。接收器先解析message中的JSON,再交给receive;二进制媒体或其他协议帧应由原有传输层区分。这里把response.done完整事件交给onUsage,由计量模块按官方事件结构读取usage,避免在状态控制层猜测计费字段。

豆包Seed-Realtime双状态及取消事件处理

取消时清空播放缓冲;状态由Response而非ASR驱动。

用事件序列验证迁移结果

在隔离测试中依次输入response.created、ASR文字完成事件、response.canceled,检查状态先变SPEAKING,ASR后仍为SPEAKING,取消后才返回LISTENING,同时播放器stop和clearQueue各被调用。再验证正常response.done不会被误当作取消并清除正常待播音频。对取消后残留的音频delta,本模块在监听状态会丢弃;连接恢复后必须重置旧队列并以新会话事件继续,不能把旧连接事件混入新会话。

豆包图片生成-专业版
豆包图片生成-专业版

企业级AI图片生成平台,支持批量生成、多比例输出、风格预设、提示词增强与工作流自动化。

下载

立即进入“豆包AI人工智官网入口”;

立即学习“豆包AI人工智能在线问答入口”;

把麦克风开关与静音通知同步

用户关闭麦克风时,停止设备采集并发送input_audio_mute.commit;恢复采集时发送input_audio_unmute.commit,再按实时节奏上行。若连接未打开,不应仅在本地改变开关就当作通知成功,要在重建会话后同步真实采集状态。捕获error事件,鉴权或参数错误停止自动重试并核对配置;服务端暂时错误可走有退避的重连流程。状态模块不包含媒体采集和解码;实际接入仍要结合官方完整示例验证设备权限、格式和网络断开场景。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

相关专题

更多
豆包App怎么下载和使用
豆包App怎么下载和使用

字节跳动推出的“豆包”是一款 ai 助手 app,提供文本创作和图像生成等功能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

4763

2024.12.17

豆包是干什么的怎么用
豆包是干什么的怎么用

豆包是一款功能强大的ai聊天智能对话问答助手,主要用于提供聊天机器人、写作助手、英语学习助手等功能,帮助用户获取信息、进行对话、辅助创作等‌‌。想了解更多相关的内容,请阅读专题下面的文章。

16877

2024.12.25

豆包是国产软件吗
豆包是国产软件吗

豆包是一款国产AI工具,由字节跳动公司基于云雀模型开发。它提供聊天机器人、写作助手和英语学习助手等功能,支持网页、iOS和安卓平台。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

28861

2025.02.05

豆包是什么软件有什么作用
豆包是什么软件有什么作用

豆包是一款跨平台文件传输工具,支持多种操作系统。其主要功能包括:快速传输:采用先进协议,实现高速文件传输。安全加密:端到端加密,确保数据安全。跨平台支持:支持各种操作系统和设备。大文件传输:轻松传输不受限的大文件。多设备互传:提高工作效率。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

4702

2025.02.08

豆包是哪个公司开发的软件
豆包是哪个公司开发的软件

豆包是字节跳动开发的软件。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7576

2025.02.08

豆包是什么时候发布的
豆包是什么时候发布的

字节跳动的 AI 产品 “豆包” 第一次发布时间是 2023 年 8 月 17 日。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

5858

2025.02.12

豆包存在哪些风险
豆包存在哪些风险

豆包软件的风险主要在于其安全性、隐私性以及潜在的法律合规问题。想了解更多相关的内容,请阅读专题下面的文章。

31657

2025.02.17

抖音旗下的豆包是什么
抖音旗下的豆包是什么

抖音旗下的豆包是一款即时语音互动社交平台,定位于年轻群体。想了解更多相关内容,请阅读专题下面的文章。

6234

2025.03.27

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

20

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
豆包AI手册
豆包AI手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn