Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。

今天的主题是：Think or Not Think: A Study of Explicit Thinking in Rule-Based Visual Reinforcement Fine-Tuning

Summary

这篇研究论文探讨了多模态大型语言模型（MLLMs）在图像分类中的少样本微调问题。研究指出，传统的监督微调（SFT）可能导致灾难性遗忘，甚至降低性能。为解决此问题，研究团队提出了CLS-RL，这是一种基于规则的强化学习方法，利用可验证的信号（如类别名称）作为奖励来优化MLLMs，并鼓励模型在回答前进行思考。此外，论文还引入了No-Thinking-CLS-RL，该方法通过移除思考过程并强制模型直接输出答案，在某些情况下取得了更好的性能，同时显著缩短了训练和推理时间。研究发现，CLS-RL及其变体展现出“免费午餐”现象，即在某个数据集上微调的模型在其他不同数据集上性能也能得到提升，这表明这些方法能有效教授模型基本的图像分类知识。

原文链接：https://arxiv.org/abs/2503.16188