Fun-Audio-Chat— 阿里通义开源的端到端语音交互模型

风强小哥_9756

发布时间：2026-01-13 09:12:20

482人浏览过

来源于php中文网

原创

Fun-Audio-Chat是什么

fun-audio-chat是由阿里云通义百聆团队推出的全新一代端到端语音交互开源模型，集语音理解、情感识别与任务执行能力于一体。该模型采用独特的双分辨率架构，融合5hz（语义级）与25hz（声学级）帧率协同处理机制，在保障语音质量与交互自然度的同时，gpu资源消耗较同类方案降低近50%。其核心技术亮点为“core-cocktail”两阶段训练范式，显著缓解持续学习中的灾难性遗忘问题，并原生支持多语言语音互译及沉浸式角色扮演功能。在openaudiobench等多项国际权威评测中，本次发布的fun-audio-chat-8b版本于语音对话理解、细粒度情感判别等关键指标上全面领先glm4-voice等主流竞品，目前已落地于智能客服系统、ai情感陪伴机器人等实际业务场景，开发者可通过modelscope与huggingface平台免费获取模型与配套工具。

GitHub操作助手

用大白话操作当前项目的 Git/GitHub——配置 GitHub（装 gh CLI + 登录 + 建仓库）、备份、拉取下载、查询历史、回滚代码、管理分支。当用户用日常语言表达 git 意图时触发（例如"git备份一下""git下载项目""git拉下来""git看看我改了啥""git回退到上一个版本""git新建个分支搞新功能""git合并到主分支""git

下载

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

Fun-Audio-Chat的核心能力

一体化语音到语音交互：摒弃传统ASR→LLM→TTS的分段式流水线，直接实现从原始语音输入到自然语音输出的端到端映射，大幅压缩响应延迟，提升交互实时性与连贯性。
隐式情绪捕捉：无需用户显式表达情绪，即可通过语调起伏、节奏快慢、停顿长短、重音分布等副语言特征，精准推断当前心理状态。
共情式语音回应：依据识别出的情绪类型（如沮丧、兴奋、紧张），动态调整应答语气、内容倾向与互动节奏，营造富有温度的人机对话氛围。
语音驱动的功能调用（Speech Function Call）：支持以日常口语方式触发后台服务，例如“帮我查明天北京的天气”，模型自动解析意图并调用对应API完成操作。
开箱即用的开源生态：完整发布8B参数量模型权重、轻量化推理代码、Function Call集成示例及文档，大幅降低开发者接入门槛。

Fun-Audio-Chat的技术实现

纯语音端到端S2S架构：构建统一的Speech-to-Speech建模框架，跳过文本中间表示环节，避免因ASR错误传播或TTS失真导致的体验断层，使语音交互更鲁棒、更拟人。
双频协同计算设计：共享大语言模型主干以5Hz低频速率提取高层语义信息；语音重建头（SRH）则以25Hz高频速率精细化建模波形细节。二者分工协作，在画质级语音还原与算力经济性之间取得最优平衡。
超大规模多任务预训练：基于百万小时真实场景音频数据（涵盖对话问答、情感标注、指令执行、风格迁移等），进行联合优化训练。在OpenAudioBench、MMAU、Speech-ACEBench、VStyle等主流语音大模型基准测试中，同参数规模下综合得分位居榜首，性能超越GLM4-Voice、Kimi-Audio、Baichuan-Omni等前沿模型。
多维度情感建模能力：深度融合声学特征、韵律模式与上下文语义，构建可泛化的跨语种情感表征空间，实现对微妙情绪变化的高灵敏度响应。
语音原生函数调用机制：将自然语言指令解析与工具调用逻辑深度耦合进语音建模流程，无需额外文本解析模块，真正实现“说即所达”的无缝操作体验。