Seventy3

【第268期】FAR:Next-Frame Prediction


Listen Later

Seventy3:借助NotebookLM的能力进行论文解读,专注人工智能、大模型、机器人算法方向,让大家跟着AI一起进步。

今天的主题是:Long-Context Autoregressive Video Modeling with Next-Frame Prediction

Summary

本研究引入了帧自回归(FAR)模型,这是一种用于视频生成的强大基线,它通过建模连续帧之间的时间因果关系来改进现有方法。FAR 模型解决了训练和推理之间存在的上下文观察差异,并提出了随机干净上下文的训练策略以提高效率。为了应对长视频建模的挑战,作者们引入了FlexRoPE来增强测试时间的时间外推能力,并采用了长短期上下文建模来有效处理视觉冗余并高效训练长视频序列。实验结果表明,FAR 在短视频和长视频生成方面都达到了最先进的性能。

原文链接:https://arxiv.org/abs/2503.19325

...more
View all episodesView all episodes
Download on the App Store

Seventy3By 任雨山