自2023年3月14日开始，chatglm-6b以来，glm系列模型受到了广泛的关注和认可。特别是在chatglm3-6b开源之后，开发者对智谱ai推出的第四代模型充满了期待。而这一期待，随着glm-4-9b的发布，终于得到了充分的满足。
GLM-4-9B 的诞生
为了赋予小模型（10B及以下）更加强大的能力，GLM技术团队经过近半年的探索，推出了这一全新的第四代GLM系列开源模型：GLM-4-9B。这一模型在保证精度的同时，大幅度压缩了模型大小，具有更快的推理速度和更高的效率。GLM技术团队的探索没有止境，我们将不断努力推出更具竞争力的开源
创新预训练技术
在预训练过程中，我们引入大语言模型进行数据筛选，最终获得了10T高质量多语言数据。这一数据量是ChatGLM3-6B模型的3倍以上。此外，我们采用了FP8技术进行高效的预训练，相比第三代模型，训练效率提高了3.5倍。考虑到用户的存储需求，GLM-4-9B的参数规模从6B提升到了9B。最终，我们将预训练计算量增加了5倍，使得在有限的存储条件下最大化性能能力。
卓越性能展示
GLM-4-9B是一款功能全面的综合技术升级工具，具备更强大的推理性能、更优异的上下文处理能力、多语言支持、多模态处理以及全工具集All Tools调用等优势。这些升级为用户提供了更稳定、更可靠、更精准的技术支持，提高了用户的工作效率和质量。
GLM-4-9B 系列包括多个版本：
- 基础版本：GLM-4-9B（8K）
- 对话版本：GLM-4-9B-Chat（128K）
- 超长上下文版本：GLM-4-9B-Chat-1M（1M）
- 多模态版本：GLM-4V-9B-Chat（8K）
GLM-4-9B 的强大能力
基础能力
GLM-4-9B在强大的预训练基础上，中英文综合能力相比ChatGLM3-6B提升了40%。尤其是中文对齐能力AlignBench、指令遵从能力IFeval，以及工程代码处理能力Natural Code Bench方面都实现了显著提升。即使对比训练量更多的Llama 3 8B模型，GLM-4-9B也丝毫不逊色，在英文表现上领先，而在中文学科领域，GLM-4-9B更是提升了高达50%的[性能评测图表]。
长文本处理能力
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
图片
GLM-4-9B+模型的上下文长度从 128K 扩展到了 1M tokens，意味着能同时处理多达 200 万字的输入，相当于两本《红楼梦》或 125 篇学术论文的长度。GLM-4-9B-Chat-1M 模型在“大海捞针”实验中，成功展示了其出色的无损处理长文本输入的能力【长文本实验图示】。
以下是两个展示长文本处理能力的 demo 视频案例：
适用于以下场景：（1）用户提供 GitHub 仓库 URL 或本地仓库路径，并请求将其转换为其他格式；（2）用户请求导出 GitHub 仓库……
- GLM-4-9B-Chat 模型： 输入 5 个 PDF 文件，总长度约为 128K，给出写一篇关于中国大模型发展的详细调研报告的 prompt。模型能够快速生成高质量的调研报告（视频未加速）。
- GLM-4-9B-Chat-1M 模型： 输入《三体》全集约 90 万字，要求模型给该小说写续集大纲的 prompt。模型合理规划并给出续写框架（视频加速 10 倍）。
多语言支持
GLM-4-9B+支持多达26种语言，包括汉语、英语、俄语等。我们将tokenizer的词表大小从65K扩展到150K，编码效率提高了30%。在多语言理解和生成任务中，GLM-4-9B-Chat表现超越Llama-3-8B-Instruct [多语言性能比较图]。
Function Call 能力
GLM-4-9B 的函数调用能力相较上一代提升了 40%，在 Berkeley Function-Calling Leaderboard 上，其 Function Call 能力与 GPT-4 不相上下 [函数调用性能对比图表]。
All Tools 全工具调用
“All Tools”能力即模型可以理解和使用各种外部工具（如代码执行、联网浏览、画图等）来辅助完成任务。在 1 月 16 日的 Zhipu DevDay 上，GLM-4 模型全线升级了 All Tools 能力，可以智能调用网页浏览器、代码解释器、CogView 等工具，完成复杂请求 [All Tools 任务图示]。
多模态处理
GLM-4V-9B 作为 GLM-4 基座的开源多模态模型，能够处理高分辨率输入，将视觉和文本数据直接混合进行训练，展现了显著的多模态处理效果，与 GPT-4V 性能相当。在识别和处理复杂多模态任务时，表现非常出色 [多模态应用实例图]。
图片
未来展望
GLM-4-9B 展现了其在多种任务中的强大性能，是自然语言处理领域的一大突破。无论是学术研究还是工业应用，GLM-4-9B 都将成为您的不二选择。
我们诚挚邀请您加入 GLM-4 的使用者行列，共同探索这款卓越模型带来的可能性：
- GitHub 仓库
- Hugging Face 模型页面
- 魔搭社区
