苹果公司研究院这篇论文介绍了一种名为简易自我蒸馏(SSD)的创新方法,旨在提升大型语言模型在代码生成任务中的表现。该技术的核心在于模型仅利用自身生成的原始、未经校验的输出进行微调,完全脱离了对外部教师模型、人类标注或代码运行环境的依赖。研究人员发现,代码编写过程中存在“精确性与探索性的冲突”,即模型需要在固定语法结构中保持严谨,同时在算法选择时保持多样。SSD 通过在训练阶段调整采样温度和截断参数,有效地压制了不必要的干扰项,并优化了模型在关键决策点的分布。实验证明,该方法在 Qwen 和 Llama 等多种规模的模型上均显著提升了解决难题的能力。最终,这种“化繁为简”的后处理方案为代码大模型的性能演进提供了全新的补充路径。
前往小宇宙评论区与主播互动