Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。

今天的主题是：

Chain-of-Thought Tokens are Computer Program Variables

Summary

该研究探讨了思维链（CoT）在大型语言模型（LLMs）中解决复杂推理任务时的内部机制，特别关注其在多位乘法和动态规划等组合任务中的作用。研究人员提出，CoT令牌的功能类似于计算机程序中的变量，用于存储中间结果，这些结果对后续计算和最终答案具有因果关系。通过移除非结果令牌、将结果合并为潜在令牌以及干预CoT中的值等实验，该论文证实了CoT对于此类问题的必要性，并表明中间结果的存储形式相对不重要，但其值对模型输出有直接影响。研究还发现，LLMs在处理简单子问题时可能会形成“捷径”，且CoT令牌间的计算复杂度存在一个限制，超出该限制会导致模型性能下降。

原文链接：https://arxiv.org/abs/2505.04955