基于扩散的生成模型在各种任务中展现出了强大的性能，但其代价是采样速度缓慢。为了实现高效且高质量的合成，最近开发了各种基于蒸馏的加速采样方法。然而，这些方法通常需要通过精心设计进行耗时的微调，才能在特定的函数评估次数（NFE）下取得令人满意的性能，这使得它们在实际应用中难以使用。为了解决这个问题，我们提出了扩散模型的简单快速蒸馏（SFD）方法，它简化了现有方法中使用的范式，并将微调时间大幅缩短了1000倍。我们从一种基于普通蒸馏的采样方法开始，通过识别和解决几个影响合成效率和质量的微小但关键的因素，将其性能提升到了最先进的水平。我们的方法还可以使用单个蒸馏模型实现可变NFE的采样。大量实验表明，SFD在少步图像生成任务中，在样本质量和微调成本之间取得了良好的平衡。例如，SFD在CIFAR-10上仅用单个NVIDIA A100 GPU进行0.64小时的微调，就实现了4.53的FID（NFE=2）。我们的代码可在https://github.com/zju-pi/diff-sampler获取。
我们提出了一个用于单步生成建模的有原则且有效的框架。与Flow Matching方法所建模的瞬时速度不同，我们引入了平均速度的概念来刻画流场。我们推导了平均速度和瞬时速度之间明确的恒等式，并将其用于指导神经网络训练。我们的方法被称为MeanFlow模型，它是自包含的，不需要预训练、蒸馏或课程学习。MeanFlow在实验中表现出了强大的性能：在ImageNet 256×256上，从头开始训练的模型通过单次函数评估（1-NFE）实现了3.43的FID，显著优于之前最先进的单步扩散/流模型。我们的研究大幅缩小了单步扩散/流模型与其多步前身之间的差距，希望能激励未来的研究重新审视这些强大模型的基础。
无分类器引导扩散模型最近在高分辨率图像生成方面表现出了高效性，并已广泛应用于包括DALL·E 2、Stable Diffusion和Imagen在内的大规模扩散框架中。然而，无分类器引导扩散模型的一个缺点是其推理时计算成本较高，因为生成一个样本需要对两个扩散模型（条件模型和无条件模型）进行数十到数百次评估。为解决这一限制，我们提出了一种将无分类器引导扩散模型蒸馏为快速采样模型的方法：给定一个预训练的无分类器引导模型，我们首先训练一个单一模型来匹配条件模型和无条件模型的联合输出，然后逐步将该模型蒸馏为一个所需采样步骤更少的扩散模型。对于在像素空间训练的标准扩散模型，我们的方法仅需4步采样即可生成与原始模型视觉效果相当的图像，在ImageNet 64x64和CIFAR-10数据集上实现了与原始模型相当的FID/IS分数，同时采样速度提高了256倍。对于在隐空间训练的扩散模型（如Stable Diffusion），我们的方法仅需1-4步去噪即可生成高保真图像，在ImageNet 256x256和LAION数据集上的推理速度比现有方法至少提高10倍。我们进一步在文本引导的图像编辑和修复任务中展示了该方法的有效性，其中蒸馏后的模型仅需2-4步去噪即可生成高质量结果。
从扩散模型中采样可被视为求解相应的常微分方程（ODE），目标是在尽可能少的函数评估次数（NFE）下获得精确解。最近，各种利用高阶ODE求解器的快速采样器不断涌现，其性能优于最初的一阶采样器。然而，这些数值方法本身会产生一定的近似误差，在NFE极少（例如约5次）的情况下，会显著降低样本质量。相比之下，基于几何观察发现，每条采样轨迹几乎都位于嵌入环境空间的二维子空间中，我们提出了近似平均方向求解器（AMEDSolver），通过直接学习快速扩散采样的平均方向来消除截断误差。此外，我们的方法可轻松用作插件，进一步提升现有的基于ODE的采样器性能。在分辨率从32到512的图像合成实验中，大量实验证明了我们方法的有效性。仅需5次NFE，我们在CIFAR-10数据集上实现了6.61的FID（弗雷歇 inception距离），在64×64分辨率的ImageNet数据集上达到10.74的FID，在LSUN卧室数据集上获得13.20的FID。我们的代码可在https://github.com/zju-pi/diff-sampler获取。
扩散模型和流匹配模型通过学习将噪声转化为数据，能够生成多样且逼真的图像。然而，从这些模型中采样需要经过神经网络多次迭代去噪，这使得生成过程缓慢且成本高昂。以往加速采样的方法需要复杂的训练机制，如多阶段训练、使用多个网络或采用不稳定的调度策略。我们引入了快捷模型（shortcut models），这是一类生成模型，它使用单个网络和单一训练阶段，在单次或多次采样步骤中生成高质量样本。快捷模型不仅根据当前噪声水平对网络进行条件设定，还依据期望的步长进行调整，使模型能够在生成过程中实现快速推进。在各种采样步长预算下，快捷模型始终能比一致性模型（consistency models）和重流模型（reflow）等先前方法生成更高质量的样本。与蒸馏方法相比，快捷模型将复杂度降低到单个网络和单一训练阶段，并且在推理时允许灵活改变步长预算。
回到 Euler 方法的基本思想——用差商代替导数——上来。实际上，按照微分中值定理应有
注意到方程 $y’ = f(x,y)$ 就有
不妨记 $\overline{K}=f(x_{n}+\theta h,y(x_{n}+\theta h))$，称为区间 $[x_{n},x_{n + 1}]$ 上的平均斜率。可见给出一种斜率 $\overline{K}$，（13）式就对应地导出一种算法。
向前 Euler 公式简单地取 $f(x_{n},y_{n})$ 为 $\overline{K}$，精度自然很低。改进的 Euler 公式可理解为 $\overline{K}$ 取 $f(x_{n},y_{n})$，$f(x_{n + 1},\overline{y}_{n + 1})$ 的平均值，其中 $\overline{y}_{n + 1}=y_{n}+hf(x_{n},y_{n})$，这种处理提高了精度。
我们提出了整流流（rectified flow），这是一种出奇简单的方法，用于学习（神经）常微分方程（ODE）模型，以在两个经验观测分布$\pi_0$和$\pi_1$之间进行传输，从而为生成式建模、域转移以及涉及分布传输的各种其他任务提供了统一的解决方案。整流流的核心思想是，学习常微分方程，使其尽可能地沿着连接从$\pi_0$和$\pi_1$中抽取的点的直线路径进行传输。这一目标通过求解一个简单的非线性最小二乘优化问题得以实现，该问题可以轻松扩展到大型模型，且无需在标准监督学习之外引入额外参数。直线路径之所以特殊且更受青睐，是因为它们是两点之间的最短路径，并且可以在无需时间离散化的情况下进行精确模拟，从而产生计算效率高的模型。我们证明，从数据中学习整流流的过程（称为整流），能够将$\pi_0$和$\pi_1$的任意耦合转化为一种新的确定性耦合，且可证明其凸传输成本不会增加。此外，递归应用整流操作，能让我们获得一系列路径越来越直的流，在推理阶段，这些流可以通过粗糙的时间离散化进行精确模拟。在实证研究中，我们发现整流流在图像生成、图像到图像的转换以及域适应等任务上表现卓越。特别是在图像生成和转换任务中，我们的方法能生成近乎直线的流，即使仅使用单个欧拉离散化步骤，也能产生高质量的结果。