meta的基础人工智能研究（fair）团队最近开源了一款名为omnilingual asr的突破性自动语音识别系统，能够识别并转录超过1600种口语语言。该模型基于pytorch构建的fairseq2框架开发，提供多个版本，参数规模从适用于低功耗设备的3亿参数模型，到追求极致精度的70亿参数大模型。
这一发布旨在填补当前AI技术在语言支持方面的显著空白，推动实现“通用语音转录系统”的愿景。Meta强调，在其所覆盖的1600多种语言中，有约500种语言此前从未被任何AI系统所支持。
- 在对1600种语言的测试中，系统在78%的语言上实现了每百个字符错误率低于10的优异表现。
- 针对拥有至少10小时标注音频的“高资源”语言，达到该准确度标准的比例高达95%。
- 即便是在训练数据少于10小时的“低资源”语言中，仍有36%的语言满足这一误差阈值，为小语种用户提供了切实可用的语音识别能力。
Omnilingual ASR的一项核心创新是引入了“自带语言”（Bring Your Own Language）功能，灵感来源于大语言模型中的上下文学习机制。通过仅提供少量音频与对应文本的样本，用户即可让系统即时学会识别一种新语言，无需重新训练模型或依赖大量算力投入。
Meta指出，借助这一机制，理论上Omnilingual ASR未来可扩展至支持超过5400种语言，远超目前行业内的语言覆盖极限。
与此同时，Meta还推出了Omnilingual ASR Corpus——一个涵盖350种代表性不足语言的大规模转录语音语料库。该数据集采用知识共享署名许可（CC-BY）公开发布，旨在赋能全球开发者优化和定制语音识别模型，以更好地服务本地化应用场景。
