啥?都能自己看电影大片?

贾佳亚团队研究成果，让接学会了处理超长视频 。

丢给一部科幻大片《星际穿越》（片长2小时49分钟）:

它看完之后，不仅能结合电影情节和人物轻松对电影进行点评:

还能很精准地回答出剧中所涉的细节:

例如:虫洞的作用和创造者是谁?

男主库珀是如何将黑洞中的信息传递给女儿墨菲?

啊这，感觉电影博主的饭碗也要被AI抢走了。

这就是多模态大模型，它支持单图、短视频和长视频三种输入。

对比来看，包括等在内的同类模型基本只能处理图像。

而背后原理更有看头。

据介绍，LLaMA-VID只通过一个非常简单的办法就达成了如上能力，那就是:

把表示每一帧图像的token数量，压缩到仅有2个。

具体效果如何以及如何实现?一起来看。

人物理解分析、电影细节都OK

对于电影来说，除了精准回答所涉细节，LLaMA-VID也能对角色进行十分准确的理解和分析。

还是《星际穿越》，我们让它看完后分析米勒星球上相对地球时间的快慢及原因。

结果完全正确:

LLaMA-VID表示是因为米勒星球在黑洞附近，导致1小时相当于地球7年。

再丢给它时长近俩小时的《阿甘正传》。

对于珍妮对于阿甘有何意义?这一问题，LLaMA-VID的回答是:

对于阿甘在战争及退伍后的事件也能进行分析，且回答也很到位:

丹中尉责怪阿甘救了自己，因为这让他无法战死沙场。

除了看电影，成为一个无所不知的的电影搭子，它也能很好地理解宣传片的意图，回答一些开放问题。

比如给它一段最近很火的GTA6预告片。

问它这个游戏哪里最吸引你?，它看完后给出的想法是:

一是游戏场景和设置非常多（从赛车、特技驾驶到射击等），二是视觉效果比较惊艳。

哦对了，LLaMA-VID还能根据游戏中的场景和特征，推测出预告片是Rockstar游戏公司的推广:

以及认出游戏的背景城市为迈阿密（根据夜生活、海滩等信息，以及在作者提示游戏设置在佛罗里达之后）。

最后，在宣传片、时长高达2-3小时的电影这些视频材料之外，我们也来看看LLaMA-VID对最基础的图片信息的理解能力。

呐，准确识别出这是一块布料，上面有个洞:

让它扮演福尔摩斯也不在话下。面对这样一张房间内景照片:

它可以从门上挂了很多外套分析出房间主人可能生活繁忙/经常外出。

看得出来，LLaMA-VID对视频的准确解读正是建立在这样的图片水准之上的，但最关键的点还是它如何完成如此长时间的视频处理。

几行代码实现单帧2token表示

LLaMA-VID的关键创新是将每帧画面的token数量压缩到很低，从而实现可处理超长视频。

很多传统多模态大模型对于单张图片编码的token数量过多，导致了视频时间加长后，所需token数量暴增，模型难以承受。

为此研究团队重新设计了图像的编码方式，采用上下文编码（ContextToken）和图像内容编码(ContentToken)来对视频中的单帧进行编码。

从而实现了将每一帧用2个token表示。

具体来看LLaMA-VID的框架。

只包含3个部分:

根据指令，LLaMA-VID选取单个图像或视频帧作为输入，然后从大语言模型上生成回答。

这个过程从一个可视编码器开始，该编码器将输入帧转换为可视帧嵌入。

然后文本解码器根据用户输入和图像编码器提取的特征，来生成与输

标签： 大模型、

本文地址： https://yihaiquanyi.com/article/81dd18597fdedb1c6bf3.html

上一篇：10文生视频人工智能平台向所有人开放Pika如...
下一篇：皮卡网游素材Pika网页版现已向所有用户开放...