Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。

今天的主题是：All Roads Lead to Likelihood: The Value of Reinforcement Learning in Fine-Tuning

Summary

本研究探讨了基础模型微调中强化学习（RL）的两阶段训练流程，该流程通常优于直接的离线最大似然估计（MLE）方法，尽管从信息论角度看RL并不能创造新信息。作者通过理论和实证分析，驳斥了几种关于RL价值的假设，并提出了一个新颖的解释。他们认为，在生成-验证存在差距的问题中，训练相对简单的奖励模型（验证器）更容易，而下游RL程序能够将策略（生成器）的搜索空间限制在对这些简单验证器最优的子集，从而带来了性能优势。实验结果支持这一假设，特别是在总结任务中，在线微调持续优于离线微调，除非生成与验证的复杂度差距被消除。

原文链接：https://arxiv.org/abs/2503.01067