讲师中心 微信公众号
AI工具推荐 视频效率加速

豆包AI的API可以用来做语音识别吗怎么传入音频数据格式

大杰同学_5572

大杰同学_5572

发布时间:2026-08-10 17:37:21

|

864人浏览过

|

来源于php中文网

原创

豆包AI的API支持语音识别,但必须通过WebSocket发送符合五项参数的原始PCM二进制流(单声道、16kHz、int16、小端序),并严格配置ARK_APP_ID与ARK_ACCESS_TOKEN认证凭证,否则返回400错误或连接中断。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

豆包ai的api可以用来做语音识别吗怎么传入音频数据格式

豆包AI的API确实支持语音识别功能,但必须严格按其端到端实时语音大模型协议传入音频数据,否则服务端直接拒绝解析或返回400错误。你不能上传MP3、WAV文件或base64字符串,只能通过WebSocket发送原始PCM二进制流。

确认API接入前提

先检查是否已获取合法调用凭证:必须拥有ARK_APP_ID和ARK_ACCESS_TOKEN两个环境变量,缺一不可。若未配置,后续所有连接都会在StartSession阶段被服务端中断。

确保你的Node.js服务已部署WebSocket客户端,并能维持长连接——豆包RealtimeAPI不接受HTTP POST上传音频,只认WebSocket二进制帧。

准备符合要求的PCM音频

音频必须满足五项硬性参数,任意一项不符,ASR引擎将静默丢弃整段流:

立即进入“豆包AI人工智官网入口”;

立即学习“豆包AI人工智能在线问答入口”;

• 格式:PCM(未经压缩,不是WAV容器)
• 声道:单声道(【双声道音频会导致ASR完全无响应】)
• 采样率:16000 Hz(不是44100、48000或8000)
• 位深:int16(即每个采样点占2字节)
• 字节序:小端序(Little-Endian)

如果你用Web Audio API采集麦克风,需手动将Float32Array重采样为int16并翻转字节序;若用FFmpeg转换本地录音,命令必须是:ffmpeg -i input.mp3 -ar 16000 -ac 1 -f s16le -acodec pcm_s16le output.pcm。

豆包生图
豆包生图

调用字节跳动豆包 Seedream 大模型生成图片。 该能力适用于用户希望基于文本描述生成图片、创作 AI 艺术、制作插画,或使用 Doubao Seedream 模型进行图像到图像(image-to-image)转换的场景。 触发词:生成图片、文生图、画图、AI画图、豆包生图、生图、生成插画、AI配图。

下载

建立WebSocket连接并发送StartSession

第一步:向/api/v1/ai/speech-recognition发起WebSocket连接,携带认证头Authorization: Bearer {ARK_ACCESS_TOKEN}和X-App-ID: {ARK_APP_ID}。

第二步:连接成功后,立即发送StartSession事件(Event ID 100),JSON体中必须包含:

{"audio_config": {"sample_rate": 16000, "channels": 1, "format": "pcm", "bit_depth": 16}, "model": "doubao-asr-v2"}

注意:【audio_config字段不可省略,且键名大小写敏感,写成sampleRate或SampleRate都会触发400】。服务端收到后返回Session ID,后续所有TaskRequest都需带上它。

分块推送音频流

第一步:将PCM文件按每20ms切片(即每次发送320字节:16000 Hz × 1通道 × 2字节 × 0.02秒)。

第二步:对每个切片构造TaskRequest事件(Event ID 200),二进制帧结构为:4字节事件ID(小端序)+ 4字节payload长度(小端序)+ JSON头部(含session_id)+ 原始PCM数据。

第三步:连续发送,间隔不超过100ms——超时会触发server_vad自动结束检测,导致ASRResponse丢失中间结果。

这一步操作起来很简单,直接把文件拖进去就行,但务必确保每个帧的PCM数据紧贴JSON头部之后,中间不能插入任何空字节或分隔符。

相关文章

AI工具
AI工具

AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型,支持联网搜索。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

相关专题

更多
豆包App怎么下载和使用
豆包App怎么下载和使用

字节跳动推出的“豆包”是一款 ai 助手 app,提供文本创作和图像生成等功能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

4603

2024.12.17

豆包是干什么的怎么用
豆包是干什么的怎么用

豆包是一款功能强大的ai聊天智能对话问答助手,主要用于提供聊天机器人、写作助手、英语学习助手等功能,帮助用户获取信息、进行对话、辅助创作等‌‌。想了解更多相关的内容,请阅读专题下面的文章。

16677

2024.12.25

豆包是国产软件吗
豆包是国产软件吗

豆包是一款国产AI工具,由字节跳动公司基于云雀模型开发。它提供聊天机器人、写作助手和英语学习助手等功能,支持网页、iOS和安卓平台。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

25481

2025.02.05

豆包是什么软件有什么作用
豆包是什么软件有什么作用

豆包是一款跨平台文件传输工具,支持多种操作系统。其主要功能包括:快速传输:采用先进协议,实现高速文件传输。安全加密:端到端加密,确保数据安全。跨平台支持:支持各种操作系统和设备。大文件传输:轻松传输不受限的大文件。多设备互传:提高工作效率。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

4302

2025.02.08

豆包是哪个公司开发的软件
豆包是哪个公司开发的软件

豆包是字节跳动开发的软件。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

6896

2025.02.08

豆包是什么时候发布的
豆包是什么时候发布的

字节跳动的 AI 产品 “豆包” 第一次发布时间是 2023 年 8 月 17 日。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

5538

2025.02.12

豆包存在哪些风险
豆包存在哪些风险

豆包软件的风险主要在于其安全性、隐私性以及潜在的法律合规问题。想了解更多相关的内容,请阅读专题下面的文章。

27977

2025.02.17

抖音旗下的豆包是什么
抖音旗下的豆包是什么

抖音旗下的豆包是一款即时语音互动社交平台,定位于年轻群体。想了解更多相关内容,请阅读专题下面的文章。

5934

2025.03.27

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

0

2026.11.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
豆包AI手册
豆包AI手册

共0课时 | 0人学习

豆包AI手册
豆包AI手册

共0课时 | 0人学习

Buffalo & Goth 官方视频教程
Buffalo & Goth 官方视频教程

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn