屡获殊荣的 AI 电影如何通过文本到视频生成栩栩如生

如果您对最近一连串的文本到图像生成器印象深刻，请准备好迎接 AI 艺术的下一步：文本到视频。

虽然巨大的计算成本和文本到视频数据集的稀缺性阻碍了该技术的发展，但最近的研究使这一承诺更接近现实。

一位名叫格伦·马歇尔（Glenn Marshall）的计算机艺术家已经看到了这种潜力。

这位贝尔法斯特作曲家最近凭借其人工智能电影《乌鸦》获得了戛纳短片电影节的评审团奖。

马歇尔之前曾因人工智能生成的愚蠢朋克视频而赢得喝彩，但他对《乌鸦》采用了不同的方法。

虽然他早期的技术将文本转化为随机的视觉突变，但乌鸦使用底层电影作为图像参考。

“我一直在大量使用视频片段作为来源进行人工智能风格转移的想法，”马歇尔告诉TNW。

“所以我每天都会在YouTube或股票视频网站上寻找一些东西，并试图通过抽象它或使用我的技术将其转化为不同的东西来制作一个有趣的视频。

“正是在这段时间里，我在YouTube上发现了《画》——一部真人舞蹈短片——它后来成为《乌鸦》的基础。

马歇尔将《画图》的视频帧提供给CLIP，这是一个由OpenAI创建的神经网络。

然后，他提示系统生成“荒凉风景中的乌鸦画”的视频。

马歇尔说，这些产出几乎不需要采摘樱桃。他将此归因于提示和底层视频之间的相似性，该视频描绘了一个穿着黑色披肩的舞者模仿乌鸦的动作。

“正是这一点让这部电影表现得如此出色，因为人工智能试图让每个真人画面看起来像一幅有乌鸦的画，所以我在半路上遇到了它，这部电影变成了人类和人工智能之间的一场战斗——带有所有的暗示性象征意义。

未来，马歇尔希望将3D动画添加到他的AI创作中。他还在探索CLIP引导的视频生成，它可以添加详细的基于文本的方向，例如特定的摄像机移动。

这可能会导致由文本转视频系统制作的整部故事片。然而，马歇尔认为，即使是他目前的技术也可以吸引主流的认可。

他说，《乌鸦》现在有资格参加著名的BAFTA奖。

“我还没有准备好演讲稿，但我幻想着以人工智能先驱的角色领奖，向星光熠熠的观众宣布，你们每一个人，演员、导演、布景设计师、服装设计师、艺术家、作曲家......人工智能即将到来，你很快就会发现自己从事一份非常不同的工作——或者一起失业。