10月9日,北京月之暗面科技有限公司(moonshot ai)宣布在“长文本”领域实现了突破,推出了首个支持输入20万汉字的智能助手产品kimi chat。这是目前全球市场上能够产品化使用的大模型服务中所能支持的最长上下文输入长度,标志着moonshot ai在这一重要技术上取得了世界领先水平。
火山引擎与Moonshot AI深度合作,为其独家提供高稳定性和高性价比的AI训练和推理加速解决方案,双方联合进行技术研发,共同推进大型语言模型在垂直领域和通用场景的应用落地。同时,Kimi Chat即将入驻火山引擎大模型服务平台——火山方舟,双方将持续在大模型生态领域为企业和消费者提供更丰富的AI应用。
相比当前市面上以英文为基础训练的大模型服务,Kimi Chat具备较强的多语言能力,例如,Kimi Chat在中文上具备显著优势,实际使用效果能够支持约20万汉字的上下文,2.5倍于Anthropic公司的Claude-100k(实测约8万字),8倍于OpenAI公司的GPT-4-32k(实测约2.5万字)。同时,Kimi Chat能够通过创新的网络结构和工程优化,在千亿参数下实现了无损的长程注意力机制,不依赖于滑动窗口、降采样、小模型等对性能损害较大的“捷径”方案。
在之前的采访中，Moonshot AI的创始人杨植麟曾经表示，无论是文字、语音还是视频，对海量数据的无损压缩可以实现高度智能。大模型的能力上限（即无损压缩比）是由单步能力和执行的步骤数共同决定的，前者与参数量有关，后者则是指上下文长度
应对大语言模型落地挑战,推动行业应用落地
Moonshot AI相信，通过增加上下文长度可以为大型模型应用带来全新的发展机遇，使其从LLM时代进入Long LLM (LLLM)时代，并与各行各业实现精准适配。在探索处理长文本场景的有效方法时，大型模型应用需要不断探索新的手段，以解决模型幻觉的问题并提高生成内容的可控性，同时寻求个性化的大型模型能力发展新路径。在大型语言模型的研发过程中，还需要克服算力资源需求的膨胀、任务工程的不稳定性、项目成本的高昂以及安全与信任等多个门槛，以提高模型的训练效率
为了解决上述问题,Moonshot AI携手火山引擎进行AI技术创新,在火山引擎机器学习平台veMLP上进行AGI实践。Moonshot AI充分利用GPU资源池,基于大规模预训练模型,实现每天数千卡规模的常态稳定训练,六个月内训练出千亿参数规模语言大模型Kimi Chat,解锁专业场景写作、超长文本理解分析、超长记忆的个性化对话、基于大量文档的知识问答等复杂场景,并成功在多家知名企业中应用。
Moonshot AI联合创始人周昕宇表示：“Moonshot AI专注于探索通用人工智能的边界，致力于将算力转化为智能的最优解。火山引擎具备国内领先的基础设施能力和算力储备，未来双方将进一步在AI算力基础设施和应用场景拓展等方面展开合作，共同推动人工智能技术的发展，为用户提供稳定、高效、智能的服务体验。”
通过使用火山引擎机器学习平台，大型模型的训练可以更加稳定和快速
火山引擎为大模型的构建和训练提供高稳定性和高性价比的AI训练和推理加速解决方案,其机器学习平台veMLP经过抖音等海量用户业务长期打磨,沉淀形成了全栈AI开发工程优化方案、任务故障自愈、实验可观测性等解决方案和最佳实践,提供高效、稳定、安全互信的一站式AI算法开发和迭代服务,让大模型训练更快、更稳、更高性价比。Moonshot AI基于火山引擎提供的超大规模AI训练和推理加速解决方案,帮助团队快速、稳定、低成本地实现大型语言模型的持续训练迭代、精调和推理。
1.IaaS算力和存储资源的规模化调度
搭建高性能计算集群,实现万卡级大模型训练、微秒级延迟网络,弹性计算可节省70%算力成本;利用vePFS+TOS冷热分层加速方案,满足训练数据高吞吐的同时整体存储成本降低65%。针对大模型的文件系统读写 Pattern,共同研发专用文件缓存系统,大幅提升显卡利用率。
2. 保障PaaS计算集群的稳定性
优化超大训练集群的稳定性,提供硬件故障自愈优化和自主诊断能力,允许用户任务迅速重试续训,实现月级别的稳定训练,通过多机训练任务通信亲和性优化,减少RingAllReduce的跨交换机通信。
3.实验高可观测性
对于多个训练任务进行实验管理，通过可视化方式对比训练结果，以确定迭代上线的模型；利用完备的监控日志，助力业务调优3D并行参数，辅助定位训练故障
大型模型服务的安全互信方案
将可信隐私计算与LLM应用相结合,提供安全沙箱功能,完善开发人员权限管控。火山引擎还与Moonshot AI一起设计适合大模型研发习惯的工作流,确保工作效率前提下,实现数据的分级访问,保证数据安全。
火山引擎智能算法负责人吴迪表示：“火山引擎一直秉持着聚焦技术、赋能伙伴、价值共生的合作态度，Moonshot AI拥有国内先进的大模型研发团队，对AI技术有着深入的理解和应用经验，双方的合作将进一步在多模型生态服务领域为企业和消费者提供更丰富的AI应用。”
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
火山方舟功能全景图
目前，火山方舟已经吸引了智谱AI、Minimax、字节跳动云雀等多家AI科技公司和科研院所的大模型入驻。Moonshot AI的大模型服务Kimi Chat也即将登陆火山方舟。火山引擎将与国内优秀的大模型服务商合作，提供模型训练、推理、评测、精调等全方位的功能和服务，助力各行各业加速AI的发展。欢迎各位企业在火山方舟中体验大模型，火山方舟愿意与大家共同成长！
