本文介绍了一种名为存储缓存(Memory Caching, MC)的新型技术,旨在解决循环神经网络(RNN)在处理长序列时因内存容量固定而导致的性能瓶颈。该研究由谷歌研究(Google Research)与康奈尔大学等机构合作完成,提出通过在推理过程中缓存隐藏状态的检查点,使RNN的有效内存容量随序列长度动态增长。文章详细阐述了四种不同的聚合策略,包括残差存储、门控聚合、存储汤(Memory Soup)以及稀疏选择性缓存(SSC)。实验结果表明,该技术显著提升了线性注意力模型和Titans等循环架构在语言建模及长文本理解任务中的表现。这种方法在保持亚平方级计算复杂度的同时,缩小了循环模型与Transformer在召回密集型任务中的差距,实现了效率与性能的平衡。