前不久，开源生成式AI平台Stability.ai发布了，全新文生图SDXLTurbo。该模型只需1秒甚至更少的时间就能生成高精准图片，可将通常50个生成步降至1—4步。

Stability.ai表示，SDXLTurbo能有如此快的推理效率是使用了全新的技术——对抗式扩散蒸馏（AdversarialDiffusionDistillation，简称ADD）。

简单来说，ADD就是在疯狂内卷+严师指导的双重模式下，用最短的时间、效的学习方法考上了清、北。

现在你读上面那段话可能有点迷糊，看完全文后你就会心疼ADD，像极了当年学习的自己。

本文地址:https://stability.ai/s/adversarial_diffusion_distillation.pdf

开源地址:https://github.com/Stability-AI/generative-models

什么是大模型蒸馏

为了更好地理解ADD技术原理，「AIGC开放社区」先用通俗易懂的方式为大家介绍一下大模型中的蒸馏到底是什么技术。

模型蒸馏是一种将大型复杂模型（通常称为教师模型）的知识传输到小型简化模型(即学生模型)的技术。

蒸馏过程就像把水果压榨成精华果汁一样，我们尝试保留大模型中最重要的信息，并且让小模型能够捕获并模仿这些内容。

或者可以理解成老师教学生的过程，全部知识不一定都学会，但重要知识点肯定都掌握了。

而ADD能以最快的推理效率生成高质量图片，便使用了对抗损失和分数蒸馏两项重要技术。

一个负责生成图片的质量，另外一个充当老师负责教会小模型捕捉重要知识点并进行指导修正。

对抗损失

对抗损失是ADD框架中的一大关键功能。引入了对抗学习的思想，让学生模型与判别器之间进行激烈对抗。

对抗学习源于GAN模型，其核心思路是通过竞争促进模型快速逼近复杂分布。学生模型想方设法生成高质量图像蒙骗判别器，而判别器则全力识破这些虚假的图片。

所以，两人就不得不拼命的内卷，最后生成的图片质量越来越高。此外，对抗过程还可引入条件信息，如文本或图像的特征向量，以增强对应性。

对抗损失中的判别器包含两部分:一个特征提取器和几个判别头。特征网络可以预先在图像分类等任务上训练，然后切掉分类层拿特征向量。这样可以重复使用以前学到的知识。

判别头则在特征的基础上判断图像真伪。训练目标就是化真实图的分数，最小化假图的分数。

分数蒸馏

分数蒸馏的核心思想是，让老师模型教学生模型传授重要知识帮助ADD捕获模型的知识点。就是咱们前面介绍的模型蒸馏概念。

ADD的老师模型使用了Stability.ai自研性能强大的StableDiffusionXL和StableDiffusion2.1两个扩散模型，来监督学生模型ADD-M和ADD-XL生成的图片结果。

具体流程是，先将学生模型生成的图片进一步加噪声，模拟扩散过程，然后让老师模型基于噪声图像输出它的还原结果。

这个还原结果可以作为学习目标，并成为学生模型的生成目标，使自己的图片可以匹配老师模型。同时在老师的指点下，逐步修正偏差达到效果。

在训练过程中，学生模型需要同时面对判别器的对抗，和老师模型的严厉监督，在二者的双重驱动下不断进步。

所以，在最终输出阶段学生模型能用极少的采样步骤1—4，就能输出高质量精准图片。

哎~~万万没想到现实中的高压学习、生活方法也适用于大模型界，看来开发灵感真的无处不在啊，真是名师出高徒，严父出孝子。

（举报）

标签： 模型、

本文地址： https://yihaiquanyi.com/article/e08a8e0ee33c455819f1.html

上一篇：让好应用为你安装软件让好应用为你所用华为...
下一篇：升级5g速度快吗快升级5G了3G必须退网三大运...