讲师中心 微信公众号

工具推荐

视频效率加速
SoundView
SoundView

字幕擦除翻译、配音口型同步

立刻MV
立刻MV

低成本歌曲 MV、视频生成

Laper
Laper

剧本策划到成片协作

AniShort
AniShort

AI短剧协同制作平台

港中深联合微软研究院提出 ConvexLLM:让声音跳过转写,直接调用大模型推理能力

酷敏姑娘_8446

酷敏姑娘_8446

发布时间:2026-11-19 15:13:32

|

555人浏览过

|

来源于php中文网

原创

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

港中深联合微软研究院提出 convexllm:让声音跳过转写,直接调用大模型推理能力

在语音与多模态人工智能的发展进程中,如何使大模型更高效、更本真地“理解”语音并执行高阶推理任务,始终是学术界与工业界共同攻坚的关键课题。近日,香港中文大学(深圳)携手微软研究院共同推出全新多模态统一建模框架——ConvexLLM,为语音与语言的深度融合开辟了一条原创性技术路径。

核心突破:C-Gate 架构与“凸包映射”机制

当前主流语音处理流程通常依赖“语音→文本转写→语言模型推理”的串行范式,这一过程不仅易引入语义失真与信息衰减,还显著拉长端到端响应延迟。

ConvexLLM 则依托原创的 C-Gate 架构,将原始音频信号直接嵌入大语言模型固有的文本词向量空间所张成的“凸包”内。其技术本质在于:在冻结预训练词向量的前提下,采用非负线性组合方式动态生成语音表征。由此,声学输入无需经历显式文本化环节,即可无缝接入大模型已习得的语言知识体系与逻辑推理能力,真正实现语音与语言表征的底层对齐与协同建模。

Large Model Visual Question Answering Skill | 大模型视觉问答技能
Large Model Visual Question Answering Skill | 大模型视觉问答技能

基于计算机视觉和大语言模型,对图像内容进行开放式问答,支持任意问题获得自然语言回答。

下载

实证效果与通用性:多项基准登顶,兼容多元音频模态

在系统性评估中,ConvexLLM 展现出强劲的综合性能。于 VoiceBench 等权威语音理解评测集上,该模型在同等参数规模的开源方案中稳居前列;尤其在 BBH(Beyond the Imitation Game Benchmark)复杂推理任务中,准确率较当前最优基线提升达 8.8%。

不仅如此,ConvexLLM 还展现出优异的跨模态泛化能力,可统一处理包括环境音、乐器声、人声片段在内的多种非语音类音频信号,显著拓宽了单一架构支撑多类型音频理解任务的能力边界。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

相关专题

更多
GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

20

2026.11.17

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

40

2026.11.17

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

20

2026.11.17

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

20

2026.11.17

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

20

2026.11.17

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

20

2026.11.17

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

180

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

140

2026.11.12

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

140

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Microsoft Copilot官方手册
Microsoft Copilot官方手册

共0课时 | 0人学习

Excel 教程
Excel 教程

共162课时 | 45.9万人学习

PHP课程
PHP课程

共137课时 | 24万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn