Olmo 2：完全开源基础模型

AI2的开创性Olmo 2语言模型是完全开源的，为大语模型（LLMS）领域的性能和透明度树立了新的基准。这些自回归模型拥有优化的培训，创新的数据混合物和高级指导调整技术。让我们深入研究细节。

“每个人都想要开源的语言模型，但没有人愿意举起这些沉重的屁股。” - 内森·兰伯特（@natolambert）

这条推文完美地包围了AI2克服的挑战。他们的“ 2 Olmo 2 Furious”纸详细介绍了他们的成功。

目录

• 2 Olmo 2愤怒：深度潜水
• Olmo 2的主要特征
  • 强大的训练稳定性
  • 优化的数据混合物
  • 建筑增强功能
• 训练后的改进
• 基础架构：关键成分
• Olmo 2基准：性能比较
• 体验Olmo 2
• 访问Olmo 2：关键链接
• 结论

2 Olmo 2愤怒：深度潜水

7B和13B参数尺寸可用的Olmo 2通过完全透明度来区分自身。 AI2已公开发布了培训数据，代码，食谱，甚至中间检查站，从而促进了协作和加速研究。这些模型提供的绩效与诸如Llama 3.1和Qwen 2.5之类的行业领导者相当，但效率显着提高。

“ 2 Olmo 2 Furious”研究论文提供了全面的细节。

Olmo 2的主要特征

强大的训练稳定性

Olmo 2使用：

• 数据改进：过滤冗余N-Grams。
• 改进的初始化：标准化初始化方案。
• 正则化：采用Z-loss稳定输出逻辑。

这些改进可以使较大数据集的更平稳培训和有效处理。

优化的数据混合物

Olmo 2采用了两阶段预处理的方法：

• 最初的预处理：利用5万亿个代币高质量的网络数据。
• 中期训练增强：集成域特异性数据集（数学，STEM），以Dolmino Mix 1124数据集为例。

建筑增强功能

Olmo 2的建筑结合了：

• RMSNORM：用于稳定的激活归一化。
• 重新排序的层标准：通过标准化注意力和进发液层输出来增强稳定性。
• 高分辨率位置编码：分辨率增加的旋转位置嵌入。

这些架构选择有助于可扩展性和效率。

训练后的改进

Olmo 2的训练后培训利用Tülu3食谱，重点是：

• 监督微调（SFT）：完善的指导跟随能力。
• 具有可验证奖励（RLVR）的强化学习：在特定任务（数学，事实推理）上优化性能。

这导致Olmo 2教学模型在GSM8K和MMLU等基准中出色。

基础架构：关键成分

AI2的高级基础设施对Olmo 2的成功至关重要：

• 高性能计算集群：在多个数据中心使用NVIDIA H100 GPU。
• 烧杯工作负载管理：用于有效的工作负载分配和监视。

这种强大的基础架构可最大程度地减少培训中断并最大化资源利用率。

Olmo 2基准：性能比较

Olmo 2在特定任务上经常优于QWEN 2.5和LLAMA 3.1，尤其是在包含Dolmino Mix 1124的情况下。它也表现出了显着的效率，可相当或出色的结果，较少的鞋失败了20％。

体验Olmo 2

访问模型并自己尝试！还提供了本地用途的说明。

访问Olmo 2：关键链接

• 论文： https ：//www.php.cn/link/cb14acf78723becd7023f4f4f4f56027cece
• 博客： https ：//www.php.cn/link/96B0548661234C39AC2A02872F8CFCB2
• 演示： https ：//www.php.cn/link/3eebaed369eb3ae36a90f310f310fc33638c
• 收集： https：//www.php.cn/link/ae3b166c302150f4def9a8176fd36460

结论

Olmo 2代表了开源AI的重大进步，优先考虑透明度和创新。通过公开分享其资源，AI2促进了协作并加速了该领域的进步，从而推动了AI应用程序的未来。

以上是Olmo 2：完全开源基础模型的详细内容。更多信息请关注PHP中文网其他相关文章！