AI视频畛域又火了一款工具。
只需上行一张照片,就能让跳TikTok社会摇。(剧烈介绍配合视频食用,留意⚠️有音乐)
这段视频由最近轻轻走红的MagicAnimate生成。这一股扑面而来的社会摇味儿,面前要素无他,靠着短视频发家的字节跳动也下场做起了AI视频生成工具。
MagicAnimate是新加坡国立大学和字节跳动联结推出的一款人体图像动画生成工具,它能够依据用户指定的人物图片和举措序列,生成对应的动效视频。
上周二一经发布,X(前推特)好像受到了抖音TikTok入侵,一刷满屏都是社会摇。
先是官方demo刷屏。
静态图片变TikTok小姐姐热舞⬇️
假设单人不够带劲,MagicAnimate还支持把多人照片变成举措视频,主打一个多人群舞,美不胜收:
以往依托专业创意人士才干成功的天马行空,如今个别人也能用MagicAnimate,轻松制造名画二创。
让蒙娜丽莎跑步、做瑜伽都不在话下。
官方称在应战性的TikTok舞蹈数据集上,MagicAnimate生成的视频真实度比基线提高了超越38%。
这象征着经常使用这个工具,你可以制造出愈加真切和流利的舞蹈视频。
由于MagicAnimate名目曾经开源可用,网友纷繁参与共创,晒出自己的社会摇作品。
《玩具总发动》胡迪摇:
离大谱的佛像摇:
X博主BlaineBrown甚至期间部署了MagicAnimate,调侃自己马上可以变成赚数百万美元的TikTok网红。
技术大佬HuggingFace首席技术官Julien也没忍住,用自己的头像做了一个跑步的灵活视频,打笑称这周可以不去健身房了。
看到这里,置信很多玩家也想自己上手试试。总的来说,目前想玩上MagicAnimate有三种干流方法(关系链接?已整顿放在文末):
种,由于名目曾经开源可用,配件能顶,想痛快体验的玩家可以部署到本地运转;
第二种,经过谷歌Colab设置运转MagicAnimate;
第三种,HuggingFace上有MagicAnimate在线体验网页,适宜大少数没有技术背景的个别玩家,只需进入名目主页,操作了如指掌。
以HuggingFace为例,首先,在界面左下方拖入或上行一张,你想整活的图片;其次你可以选用官方举措demo,也可以上行视频作为举措参考;接着在最右侧调整参数,点击Animate即可生成视频。
不过,MagicAnimate发布后,火到间接冲上HuggingFace抢手榜,由于排队体验的人太多,头等AI玩家苦蹲了一天都没顺应用上。
好在多番尝试下,咱们经过谷歌Colab用上了MagicAnimate,立刻让马斯克来了段TikTok社会摇。
虽然舞是跳了,但可以看到生成的马斯克脸部真实拉垮,马斯克亲妈来了都不肯定认得这是自己的儿子。
和官方demo比更是黯然失色。
难道是上行的图片人物不太明晰?于是,我找来了马斯克的高清证件照,测试了一波。
稍稍瞥一眼,AI似乎把老马整年轻了20岁,体态精瘦,头发还有点日本动漫风。不过,舞跳着跳着MagicAnimate版马斯克就把衣服脱了,显露腹肌,面部表情治理也逐渐失控……
那么,多人社会摇成果如何呢?不如让马斯克和扎克伯格一同跳段科目三。
我上行了海底捞版双人齐舞科目三作为参考视频,参考图片则是数字艺术家@julian_ai_art用AI制造的恶搞图片:马斯克与扎克伯格在海边牵手散步。
期待良久,版视频画面间接糊到看不进去谁是谁,无奈之下还是用了官方给的举措示例,虽然顺利生成了两人海边跳舞的场景,但成果也不尽善尽美。
多轮实测上去,可以说,MagicAnimate目前生成的视频成果算不上惊喜(甚至有些惊吓),用来网上玩梗还行,离实践落地运行还有很大一段距离。
常年关注AI视频畛域的X博主BenjaminDeKraker花了几个小时体验MagicAnimate后,给出的评估也不是太高,以为MagicAnimate倾向生成十分女性化的结果,甚至去除面部和衣服,并猜想它是在音乐视频上启动的训练。
国际大厂齐下阵,AI视频下一个战场已开打
最近图生视频赛道上,频频闪现国际大厂的身影。
除了字节跳动的MagicAnimate,阿里近期也发布了一款配置相似的AI视频生成工具名叫AnimateAnyone,双方名目文章上线期间仅相差一天,引得网友直呼有种淘宝买家秀vs抖音舞蹈秀的觉得。
雷同只需一张图,不论是真人照片还是动漫人物,只需你想,AnimateAnyone就能让它动起来。
虽然配置相似,但从技术层面过去说,两者大有不同。
假设把MagicAnimate构想成一个智能动画师,它有两个工具协助自己制造动画。一个工具叫视频分散模型,担任捕捉期间信息;一个工具叫外观编码器,担任模拟参考图片生成流利的画面,最后经过视频融合技术,确保长视频动画环节中的平滑过渡。
AnimateAnyone这个动画师呢,则强调用程序算法优化模型在期间、空间、交叉维度上的才干,来让生成的视频愈加真切。
惋惜AnimateAnyone目前尚未地下源代码,不可比拟双方在不同的技术思绪下,谁的实践生功成果更好。
但不得不说,AI视频生成畛域的提高有目共睹,对比之前技术,MagicAnimate在基准测试中曾经有了很大的优化。
与此同时,字节跳动早就在规划AI视频生成畛域。
实践上,Magic家族不止有MagicAnimate,还有往年8月底一同上线的MagicAvatar和MagicEdit。
MagicEdit提醒词指令扩图
如今干流的内容流传载体之中,视频是能够同时结合文字、图片、声响、举措等多种元素,用更直观、活泼的方式出现信息的媒介方式。
正由于如此,随着AIGC大潮卷完文生文和文生图,视频生成自然成了下一个兵家必成之地。
往年下半年,尤其是进入11月之后,越来越多的AI视频初创公司开局锋芒毕露,如大火的Runway、Pika;之前以AI绘画走红的StableDiffusion面前母公司也转向视频畛域发布了个开源AI视频生成模型。
如今国际不只大厂阿里、字节跳动参与了AI视频混战,诸如Hidream、MorphStudio、右脑科技、爱诗科技等初创公司也陆续推出AI视频产品并极速迭代。一贯主打图像的美图公司,近日推出AI模型MiracleVision4.0版本,火速补齐了AI视频才干,支持经常使用提醒词及图片生成视频。
无论各家业务目的如何,置信最终会放慢AI视频生成技术更快地流传开来。就像近期网上走红的抖音AI扩图一样,无妨让更多人先玩上AI,再谈AI改革消费劲。
MagicAnimate名目及展示:https://showlab.github.io/magicanimate/
文章:https://arxiv.org/abs/2311.16498
Colab地址:https://t.co/bbgtr7HCLy
Huggingface在线测试:https://huggingface.co/spaces/zcxu-eric/magicanimate
MagicAvatar名目主页:https://magic-avatar.github.io/
MagicEdit名目主页:https://magic-edit.github.io/
(揭发)
标签: 马斯克、本文地址: https://yihaiquanyi.com/article/306a444531e729d1fb26.html
上一篇:胜率达80以上的足球预测技巧胜率达9408%李...