主题: 介绍 ARIA，第一个开源的多模态原生混合专家模型 (MoE)，其在各种多模态、语言和编码任务中表现出最佳性能。

主要观点和事实:

• 多模态原生: ARIA 是一个单一模型，能够理解多种输入模态（如文本、代码、图像、视频），其性能可与类似规模的模态特定模型相媲美或超越。它为用户提供无缝的多模态体验，无需区分不同模态的输入。

“多模态原生模型指的是一个单一模型，它能够跨多种输入模态（例如文本、代码、图像、视频）具备强大的理解能力，并且其性能与类似规模的模态特定模型相媲美或超越。”

• 混合专家架构: ARIA 的核心是一个细粒度的 MoE 解码器，它通过专家专业化实现更有效的参数利用，从而实现比密集解码器更快的训练和推理速度。每个文本/视觉 token 激活的参数分别为 3.5B/3.9B。

“MoE 的核心思想是用一组专家替换 Transformer 中的每个前馈层（FFN），其中每个专家在结构上与 FFN 相同。”

• 轻量级视觉编码器: ARIA 使用一个 438M 参数的轻量级视觉编码器将视觉输入（图像或视频帧）转换为连续的视觉标记，与词嵌入具有相同的特征维度，从而使 MoE 能够无缝集成视觉和语言输入。

“我们设计了一个轻量级的视觉编码器，将视觉输入（即图像或视频帧）转换为与词嵌入具有相同特征维度的连续视觉标记，这使得 MoE 能够无缝地集成视觉和语言输入。”

• 大规模预训练: ARIA 在 6.4T 语言标记和 400B 多模态标记上进行预训练。预训练数据经过精心策划，来自各种来源，包括交错的图文网页数据、合成图像描述、文档转录和问答对、合成视频描述和问答对。

“ARIA 在 6.4T 语言标记和 400B 多模态标记上进行预训练。我们开发了一个严格的程序，从各种来源中筛选高质量的数据。”

• 四阶段训练流程: ARIA 采用四阶段训练流程，包括语言预训练、多模态预训练、多模态长上下文预训练和多模态后训练。每个阶段都旨在逐步增强某些模型功能，同时保持早期阶段获得的功能。

“我们设计了一个四阶段的训练流程，包括语言预训练、多模态预训练、多模态长上下文预训练和多模态后训练。每个阶段都旨在逐步增强某些模型功能，同时保持早期阶段获得的功能。”

• 专家模态特化: 尽管采用模态通用架构，但 ARIA MoE 在预训练后自然地产生了多模态专家特化。这意味着某些专家更擅长处理特定模态的输入，从而提高整体性能。

“分析表明，尽管采用了模态通用架构，但我们的 MoE 在预训练过程中学习了有效的专家利用。”

• 优异的性能: ARIA 在各种基准测试中表现出最先进的性能，包括多模态理解、语言理解、编码和长上下文多模态理解。它在许多任务上优于其他开源模型，并在某些多模态任务上与专有模型（如 GPT-4o 和 Gemini-1.5）相媲美。

重要结论:

• ARIA 是一个强大的开源多模态原生模型，在各种任务中表现出优异的性能。
• 专家特化和四阶段训练流程对实现高性能至关重要。
• ARIA 的开源性质和易于采用的代码库使其成为研究和实际应用的宝贵工具。

未来方向:

• 探索新的预训练数据和训练策略，以进一步提高性能。
• 研究如何在更广泛的任务和领域中应用 ARIA。
• 开发更有效的推理方法，以便在资源受限的环境中部署 ARIA。