AI生成的视频,正在入侵互联网。
此前,我们已经见识了完全由AI制成的科幻预告片《Trailer:Genesis》,以及用AI合成的《芭比海默》预告片。这两部脑洞大开的片子,让我们见识了AI的神奇。
现在,越来越多工具正在被开发出来,批量制造短视频和电影片段,其生成效果让人惊叹,使用门槛却低到令人发指。
比如用Pika生成的这个:
用RunwayGen-2生成的这个:
以及用Neverends生成的这个:
不需要复杂的代码,也不需要深奥的指令,只需要一句话,或者一张图片,AI就能自动生成动态视频。 如果想修改,同样只需要一句话,指哪改哪。喜欢做视频的同学,再也不用四处找素材、熬夜剪辑了。
在创投圈,视频生成类AI正在取代大语言模型,成为近期最热门的赛道。前段时间出圈的Pika,给这团火又添了一把柴。
AI视频这阵风,能吹多久?
AI生成视频,这次有点东西
用AI生成一段视频不是什么难事,区别在于生成什么样的视频。
经常剪视频的人可能知道一键成片,在剪映等视频工具里输入脚本,系统可直接生成与脚本匹配的视频;在一些数字人平台上传一张照片,AI生成一个数字人,在口播时能自动对口型。
这是AI,但不是我们今天讨论的AI。
本文提到的AI生成视频,指的是生成有连续逻辑的视频,内容之间有关联性与协同性。它不是根据脚本把图片素材拼接成视频形式,也不是用程序驱动数字人动手动嘴。它更接近于无中生有,实现难度更高。
比如以下这段视频,就靠一句指令生成:
视频中的汽车、树叶、光影,是AI靠自己的知识储备和经验画出来的,或者说是瞎编的。当然,是根据用户的要求瞎编。
再看以下这段视频,就靠一张静态图片,AI自动拓展成视频。
图片中的人物、船只、水流本来都是静止的,AI将它们变成了动态。
AI还可以对原视频进行扩充,把场景补齐,比如从只有上半身扩充到全身,以及构造出人物背后的全景。这跟最近很火的AI扩图有点像,AI根据自己的理解,以小见大,以树木见森林。
以上三种生成视频的方式,就是现在流行的AI视频三件套:文生视频、图生视频、视频生视频。简言之,无论是文字、图片还是视频,都能作为原始素材,通过AI生成新的视频。
从技术角度,这依托跨模态大模型。在输入端,输入自然语言、图像、视频等形式的指令,最后都能在输出端以视频的形式呈现。
生成只是步,后续还能用AI修改。
请看X网友发布的一段视频:
这个视频体现了两个重要的功能:一键换装,一键增减物品。这也是Pika在1.0版本上线时重点介绍的功能。在Pika的宣传片中,只需要一句话输入指令,就能给猩猩戴上墨镜,给一位行走中的女士换装。
这其中的厉害之处不在换装,而在换装的方式——用自然语言的方式下指令,且整个过程非常丝滑,毫无违和感。通过AI,人们能够轻松编辑并重构视频的场景。
AI还能改变视频风格,动漫、卡通、电影,通通不在话下,比如将现实中的实拍镜头转换为卡通世界,它的效果跟P图软件的滤镜有点像,但更。
现在用AI生成的视频,已经能达到以假乱真的效果,国内还有一批公司在研发更新的技术。
这两排人物,每排的六个人动作都一模一样,就像一个模子里刻出来的。没错,它们就是通过人物静态图片,绑定骨骼动画生成的。
这是阿里研究院正在进行的一个项目,叫AnimateAnyone,它能让任何人动起来。除了阿里,字节跳动等公司也在研发类似技术,且技术迭代很快。
效果很好,但别高兴太早
用简单的自然语言让AI生成定制化的视频,给行业带来的兴奋跟去年的chatGPT差不多。
文生视频的原理与文生图像类似,但由于视频是连续的多帧图像,所以相当于在图像的基础上增加了时间维度
标签: AI视频、本文地址: https://yihaiquanyi.com/article/375fae8fece82bd649e1.html
上一篇:寻求应用其内存的方法寻求应用其内容开出现...