探讨一种名为“序列并行”的内存高效并行方法，该方法旨在突破输入序列长度的限制，并能在GPU上高效训练更长的序列。该方法与现有的并行技术兼容，并能实现4D并行。核心思想是将输入序列分割成多个块，并分配给不同的GPU进行处理。为了计算注意力输出，引入了环形自注意力机制。