敢想科技说

一张照片生成连贯全片!Runway Gen4 深夜发布,AI视频的天花板被捅破了


Listen Later

今天咱们聊点炸裂的,AI视频领域又出大事了!Runway Gen4 深夜发布,号称全球首款实现世界一致性的模型横空出世。这意味着啥?意味着你可以用一张照片生成连贯的全片!这简直是捅破了AI视频多年的天花板啊!

先说说这个Runway Gen4有多牛。它能在多个场景中保持人物场景和物体的一致性,无需额外精调。你只需要一张参考图,就能在不同光线和场景中生成一致的角色或物体。这技术,简直是把导演们十多年都没实现的梦想给圆了!

Runway的CEO Cristbal Valenzuela Barrera在X平台上兴奋地宣布我们新一代用于媒体生成与世界一致性的AI模型系列来了。欢迎Gen4的到来。这个模型非常特别,我们从零开始完全为一个目标打造它讲述精彩的故事。

Gen4的核心亮点包括世界一致性参考图能力场景覆盖物理效果视频质量和生成式视觉特效。用户只需设定好整体风格和视觉效果,模型就能在保持每一帧独特风格氛围和电影质感的同时,维持连贯的世界环境。而这一切无需精调或额外训练。

为了展示Gen4的潜力,Runway团队制作了一系列短片。比如The Lonely Little Flame,开场镜头设定了整个短片的基调感觉和氛围。在其中一个场景中,有一只臭鼬在寻找什么东西。借助Gen4,创作者可以直接指导主体穿越场景。他们为臭鼬设定了两个关键标记点,精确控制其移动路径先移动到场景一侧,再折返回来,成功营造出寻找的动态感。

Runway团队还展示了木制玩具场景。他们拿出一个木制玩具,用手机拍摄照片后导入Gen4作为参考,同时上传了此前拍摄的纽约街景作为背景。通过一句简单描述木制玩具靠在纽约街道的人行道旁,Gen4迅速生成了四张图像。挑选其中一张,并为画面添加了行人从玩具前走过的动画效果。你可以将这个玩具放在任何地方山脉中沙漠里,基本上你想做什么都可以。

牛群是另一部扣人心弦的短片,讲述了一名年轻男子在夜晚被追赶穿越一片牛群的故事。仅凭Gen4和几张简单的图像参考,Runway团队构建了角色的每个镜头以及雾气弥漫的牛群场景。制作团队特别强调了两大技术亮点在牛的眼睛中可以看到人物的倒影,以及火焰在草地上蔓延的逼真物理效果。

Gen4对现实物理世界的理解达到了新高度。纽约短片将纽约不同区域的真实照片结合动物的真实照片,清晰地展示了Gen4对物理动物重量它们如何在表面移动以及与环境互动方式的理解。

Runway CEO去年曾说过,AI正在成为像电力或互联网一样的基础设施。在今天称自己为AI公司,就像在2024年称自己为互联网公司一样。这没有意义,因为人人都在用每家公司都使用互联网每家公司都将使用AI。

影视行业一直是AI视频生成工具攻坚的重要一环。去年9月,Runway与著名电影制作公司狮门影业Lionsgate达成合作,这是首个大型电影公司与AI视频模型供应商直接签订的协议。Runway将利用狮门影业超过两万部影视作品的资料库,包括饥饿游戏等知名影片,构建一个定制的AI视频制作和编辑模型。该模型将应用于故事板制作背景创建和特效制作。

梦工场的联合创始人杰弗里卡森伯格甚至表示,AI可能会消灭动画电影90的岗位。传统动画制作流程中的许多环节中间帧绘制背景设计着色润色可能被AI大幅简化或取代。但与此同时,新的专业岗位正在涌现,AI提示工程师视觉开发总监AI人类协作编导等角色未来也将出现在制作名单中。

能够渲染视频,实现基础生成功能这是当前AI视频技术的普遍水平,而在Runway Gen4此次的宣传中,则强调AI能够创作真实故事,制作出既美观又有娱乐性,能够引起情感共鸣的内容。或许只有当工具变得足够简单,创作者才能真正关注重要的事情讲述触动人心的故事。

我是敢想老田,咱们下期再见!

...more
View all episodesView all episodes
Download on the App Store

敢想科技说By 无何有老田