moss-ttsd（text to spoken dialogue）是一款开源的对话语音生成模型，由清华大学语音与语言实验室（tencent ai lab）研发。该模型能够将文本对话脚本转化为自然、富有表现力的口语化语音，并支持中英文双语输出。其基于先进的语义-音学神经网络音频编解码器以及大规模预训练语言模型，利用超过100万小时的单人语音和40万小时的对话语音数据进行训练。具备零样本语音克隆能力，可自动识别并切换对话者角色，适用于ai播客、访谈、新闻播报等多种应用场合。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
MOSS-TTSD的主要功能
- 高表现力对话语音生成：将对话文本转换为自然流畅、富有情感的语音，准确还原对话中的语气、节奏等细节。
- 零样本多说话人音色克隆：可根据对话内容自动生成不同说话人的语音，无需额外提供声音样本即可实现两位说话者的音色模拟。
- 中英双语支持：能够在中文和英文之间自由切换，生成高质量的双语对话语音。
- 长篇语音生成：借助低比特率编解码器及优化后的训练架构，可一次性生成超长语音内容，避免传统拼接方式带来的不连贯问题。
- 完全开源且适合商业应用：模型参数、推理代码及API均已公开，允许免费用于商业用途。
MOSS-TTSD的技术原理
- 基础模型架构：MOSS-TTSD 在 Qwen3-1.7B-base 模型基础上进行持续训练，采用离散语音序列建模方法。通过八层 RVQ（Residual Vector Quantization）码本对语音信号进行离散化处理，将其转化为一系列 token。这些 token 通过自回归结合 Delay Pattern 的方式生成，最终由 Tokenizer 解码器还原为语音波形。
-
语音离散化与编码器创新：核心组件 XY-Tokenizer 是专为语音设计的离散编码器，采用两阶段多任务学习策略：
- 第一阶段：通过 ASR 和重建任务联合训练，使编码器在提取语义信息的同时保留粗略的声学特征。
- 第二阶段：固定编码器和量化层，仅训练解码器部分，通过重建损失与 GAN 损失补充更精细的声学信息。XY-Tokenizer 在 1kbps 比特率和 12.5Hz 帧率下表现出优于其他 Codec 的综合性能。
- 数据处理与预训练：训练数据包括约100万小时的单人语音和40万小时的对话语音。团队构建了高效的数据流水线，从海量原始音频中筛选出高质量样本并进行标注。此外，还使用110万小时的中英文 TTS 数据对模型进行预训练，显著提升语音的表现力和韵律。
- 长语音生成能力：得益于超低比特率的 Codec 架构，MOSS-TTSD 可以生成最长960秒的连续语音，实现无缝输出，避免语音片段拼接带来的断续感。
MOSS-TTSD的项目地址
- 项目官网：https://www.php.cn/link/ebd83293e15f358a34de4f3e805d8469
- Github仓库：https://www.php.cn/link/f51cf26546d2015352cabae5d9b01b81
- HuggingFace模型库：https://www.php.cn/link/647eb61673d5e4df8a069bde0d77fff5
- 在线体验Demo：https://www.php.cn/link/197728ce327b582d7ccd6adb5f2d4f7a
MOSS-TTSD的应用场景
- AI 播客制作：可生成逼真的对话式语音，广泛应用于AI播客内容创作，模拟真实访谈氛围。
- 影视配音：支持中英文双语语音生成，具备零样本音色克隆能力，可用于电影、电视剧等作品的对白配音。
- 长篇访谈语音合成：支持最长960秒的语音连续生成，避免拼接导致的不自然过渡，非常适合用于访谈类节目。
- 新闻报道：可生成自然流畅的对话式语音，用于新闻播报，增强听众的沉浸感和吸引力。
- 电商直播：适用于数字人对话带货等电商直播场景，通过生成自然的对话语音吸引用户关注与互动。
