将已有实时语音客户端迁移到豆包seed-realtime时,先让response事件统一控制listening和speaking,再把asr事件限制为字幕显示;取消回复时同时停止播放并清空队列。以下方法面向已经具备鉴权websocket连接、音频编码和播放器的客户端,补齐状态控制与静音保活,不替代设备采集和音频解码实现。
先对齐新会话及媒体格式
当前Seed-Realtime的session.model为1.3.0.0。不要照搬其他全双工接口文档中的1.2.6.1。创建会话后确认实际输入输出格式:16kHz/int16输入按20毫秒、640字节实时发送;输出pcm为32位小端序,pcm_s16le才是16位,不能只看名称就用同一种解码器。生产密钥放在受控服务端或官方支持的安全接入层,原生浏览器WebSocket不能任意添加X-Api-Key请求头。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
示例展示会话创建、音视频上行、回复与取消流程。
集中处理下行JSON事件
将下面模块接到已有连接的message处理器。player.pushBase64、stop、clearQueue必须映射到实际播放器:stop停止当前输出,clearQueue清除尚未消费的音频,二者不能只更新一个页面变量。onTranscript和onUsage则接到应用原有展示与计量逻辑。
export function createRealtimeController({send, player, onTranscript, onUsage}) {
let state = 'LISTENING';
function receive(event) {
switch (event.type) {
case 'response.created':
state = 'SPEAKING';
break;
case 'response.output_audio.delta':
if (state === 'SPEAKING') player.pushBase64(event.delta);
break;
case 'response.canceled':
player.stop();
player.clearQueue();
state = 'LISTENING';
break;
case 'response.done':
onUsage(event);
state = 'LISTENING';
break;
default:
if (event.type?.includes('transcription')) onTranscript(event);
}
}
function setMicrophoneEnabled(enabled) {
send({type: enabled ? 'input_audio_unmute.commit' : 'input_audio_mute.commit'});
}
function resetAfterDisconnect() {
player.stop();
player.clearQueue();
state = 'LISTENING';
}
return {receive, setMicrophoneEnabled, resetAfterDisconnect,
getState: () => state};
}send负责把对象序列化为JSON文本帧并在已打开的连接上发送。接收器先解析message中的JSON,再交给receive;二进制媒体或其他协议帧应由原有传输层区分。这里把response.done完整事件交给onUsage,由计量模块按官方事件结构读取usage,避免在状态控制层猜测计费字段。

取消时清空播放缓冲;状态由Response而非ASR驱动。
用事件序列验证迁移结果
在隔离测试中依次输入response.created、ASR文字完成事件、response.canceled,检查状态先变SPEAKING,ASR后仍为SPEAKING,取消后才返回LISTENING,同时播放器stop和clearQueue各被调用。再验证正常response.done不会被误当作取消并清除正常待播音频。对取消后残留的音频delta,本模块在监听状态会丢弃;连接恢复后必须重置旧队列并以新会话事件继续,不能把旧连接事件混入新会话。
立即进入“豆包AI人工智官网入口”;
立即学习“豆包AI人工智能在线问答入口”;
把麦克风开关与静音通知同步
用户关闭麦克风时,停止设备采集并发送input_audio_mute.commit;恢复采集时发送input_audio_unmute.commit,再按实时节奏上行。若连接未打开,不应仅在本地改变开关就当作通知成功,要在重建会话后同步真实采集状态。捕获error事件,鉴权或参数错误停止自动重试并核对配置;服务端暂时错误可走有退避的重连流程。状态模块不包含媒体采集和解码;实际接入仍要结合官方完整示例验证设备权限、格式和网络断开场景。



















