介绍了 Pixtral 12B，一个由 Mistral AI 开发的 120 亿参数多模态语言模型。Pixtral 12B 能够理解自然图像和文本，并在多项多模态基准测试中取得领先成绩，超越了许多更大的模型。

重要特点：

• 强大的多模态推理能力： Pixtral 12B 在多模态任务上表现出色，优于同等规模的开源模型，甚至超越了 Llama-3.2 90B 等更大的模型。
• 卓越的文本理解能力： 与许多专注于多模态能力而牺牲文本性能的开源模型不同，Pixtral 12B 在文本任务上也表现出色，使其成为文本和视觉任务的理想替代方案。
• 新颖的视觉编码器： Pixtral 12B 采用从头开始训练的全新视觉编码器 Pixtral-ViT，能够以自然分辨率和纵横比处理图像，为用户在处理图像时提供了更大的灵活性。
• 长上下文窗口： Pixtral 12B 拥有 128K token 的长上下文窗口，可以处理任意数量的图像。
• 开源和标准化评估： Pixtral 12B 在 Apache 2.0 许可下发布，并贡献了一个开源基准测试 MM-MT-Bench，用于评估实际场景中的视觉语言模型，并提供了详细的分析和代码，以实现多模态 LLM 的标准化评估协议。

关键创新：

• Pixtral-ViT 视觉编码器：使用 ROPE-2D 实现，支持可变图像大小和纵横比。
• 使用序列打包和块对角注意力掩码，提高效率。
• 在需要细粒度推理的任务（如图表和文档理解）中表现出色。
• MM-MT-Bench 基准测试：评估多模态模型在实际应用场景中的多轮指令遵循能力。
• 与 LMSys 视觉排行榜的 ELO 评分高度相关。
• "Explicit" 提示词设计：明确指定输出格式，提高评估的准确性。
• 显着提高了领先模型的性能。
• 灵活的解析指标：缓解了模型因输出格式差异而受到的惩罚。
• 揭示了某些模型在遵循指令方面的不足。

主要结果：

• 在 MM-MT-Bench 和 LMSys 视觉排行榜上，Pixtral 12B 优于同等规模的开源模型，并接近 Qwen2-VL 72B 和 Llama-3.2 90B 等最大开源模型的性能。
• 在文本基准测试中，Pixtral 12B 也始终优于同等规模的开源模型。
• 通过使用 "Explicit" 提示词和灵活的解析指标，Pixtral 12B 的评估结果更加准确可靠。

重要引言：

• "与相同评估设置下规模相似的模型相比，我们发现 Pixtral 提供了强大的多模态推理能力，而不会牺牲纯文本推理性能。"
• "我们开源了一个名为多模态 MT-Bench（MM-MT-Bench）的新基准测试，以类似于纯文本变体的方式评估指令调整的多模态模型的性能。"
• "我们发现，常用的提示词没有正确指定输出格式......因此，领先模型需要明确指定所需输出格式的提示词。"

结论：

Pixtral 12B 是一个先进的多模态模型，在纯文本和多模态任务中都表现出色。其新颖的架构、强大的性能和对标准化评估的贡献使其成为复杂多模态应用的强大工具。

建议：

• 探索 Pixtral 12B 在各种多模态应用中的潜力，例如图像字幕、视觉问答和文档理解。
• 使用 MM-MT-Bench 和 "Explicit" 提示词设计来评估和比较其他多模态模型。
• 研究 Pixtral-ViT 视觉编码器对其他视觉语言任务的影响。