构建 b12463 修正了视觉编码器缩放位置嵌入网格时的坐标顺序。位置网格现在按模型训练时的约定调整,非方形图像是理解这项修复的重点。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

位置嵌入的坐标顺序改了什么
llama.cpp b12463 的修复位于 mtmd 的视觉编码器路径。Muse Glimmer 使用一个学习得到的位置嵌入网格,输入图像的布局变化时需要调整该网格。原实现按高度、宽度的顺序调整,修复按训练所用的宽度、高度顺序处理。

什么图像更能体现修复
若网格高度和宽度相同,交换两者后尺寸关系不变,合并说明明确指出方形图像不受影响。长宽不等时,原先顺序与训练时的约定会产生差别,所以非方形图像是验证这一问题的主要输入类型。
哪些模型走同一条路径
Muse Spark Open 的视觉部分使用同一计算图,因此也覆盖在这项修复内。修复范围是相关模型的位置嵌入计算,其他视觉模型的实现应按各自路径判断。
应如何理解构建范围
b12463 是测试构建。具体变化是让视觉位置网格遵循训练时的坐标顺序,发行说明没有给出通用的图像质量、速度或设备兼容性提升结论。

















