> ### 摘要
> 本文探讨扩散模型是否可被视作变分自编码器（VAE）的一种等价或衍生形式。自去噪扩散概率模型（DDPM）提出以来，扩散模型因其独特的生成机制与理论深度成为生成建模领域的研究热点。通过对其所采用的变分界限（ELBO）进行系统推导与分析，可清晰揭示扩散模型与VAE在变分推断框架下的深刻联系——二者均依赖于对难以处理的后验分布进行参数化近似，并通过优化同一类下界实现训练。该视角亦为理解扩散模型与神经压缩技术的共性提供了统一理论路径。
> ### 关键词
> 扩散模型, VAE, 变分界限, 生成模型, DDPM
## 一、扩散模型与VAE的理论基础
### 1.1 扩散模型的基本原理与数学框架
扩散模型的灵感源于非平衡热力学中的物理扩散过程——它将数据逐步“加噪”至近似纯噪声，再通过参数化的神经网络学习逆向“去噪”路径。自去噪扩散概率模型（DDPM）的提出，为这一思想赋予了严谨的概率建模语言：它构建了一个长度为 $T$ 的马尔可夫前向链，其中原始数据 $x_0$ 经过 $T$ 步高斯扰动后退化为标准正态分布 $x_T$；随后，模型以变分推断方式学习反向过程 $q_\theta(x_{t-1} \mid x_t)$，目标是逼近真实的后验 $p(x_{t-1} \mid x_t)$。这一过程看似繁复，却在数学上天然嵌入了变分界限（ELBO）的结构——DDPM 的训练目标，正是对整个扩散轨迹上联合对数似然的下界进行最大化。这种层层递进、由显式噪声驱动的生成逻辑，既区别于传统生成对抗网络的对抗博弈，也迥异于流模型对变换可逆性的严苛要求；它用时间维度展开隐空间，让生成不再是黑箱跃迁，而是一场被精心编排的、可微分的“记忆复苏”。
### 1.2 变分自编码器的工作机制与变分界限
变分自编码器（VAE）则以另一重诗意的方式拥抱不确定性：它假设观测数据 $x$ 由潜变量 $z$ 生成，即 $p_\theta(x) = \int p_\theta(x \mid z) p(z) \, dz$，但该积分通常不可解。于是 VAE 引入参数化近似后验 $q_\phi(z \mid x)$，并通过优化证据下界（ELBO）来同时学习编码与解码——ELBO 的表达式 $\mathbb{E}_{q_\phi(z \mid x)}[\log p_\theta(x \mid z)] - \mathrm{KL}(q_\phi(z \mid x) \parallel p(z))$，既鼓励重构保真度，又约束潜变量分布贴近先验。这一框架将生成建模转化为一个优雅的权衡：在压缩（KL 散度项）与表达（重构项）之间寻找张力平衡点。值得注意的是，DDPM 中所采用的变分界限方法，正与此一脉相承——它并非偶然借用，而是从同一片变分推断土壤中生长出的不同枝干。
### 1.3 两种生成模型的共性与差异
当我们将 DDPM 的变分目标沿时间步展开并重新组织，会发现其 ELBO 可被分解为一系列加权 KL 散度之和，每一项均对应某时刻的近似后验与真实后验之间的距离；这与 VAE 中单步潜变量的 KL 正则化，在结构精神上惊人地呼应。二者同属生成模型，共享“用参数化分布逼近难解后验”的核心范式，亦共同依托变分界限实现可计算训练。然而，差异同样深刻：VAE 的潜空间是紧致、低维且一次性映射的；而扩散模型的“潜变量”是高维、时序化、显式带噪的——它不压缩，而是延展；不抽象，而是具象地走过每一步失真与修复。这种差异，恰如一位诗人选择用十四行诗凝练情感，另一位则以长篇叙事诗逐帧描摹心绪的潮汐涨落。也正是在这种张力之中，扩散模型与 VAE 共同拓展着我们对“生成”本质的理解边界。
## 二、扩散模型与VAE的技术联系
### 2.1 DDPM中的变分界限推导
在DDPM的数学骨架中，变分界限并非装饰性的附庸，而是整座模型大厦的地基。其推导始于对数据分布 $p(x_0)$ 的对数似然 $\log p(x_0)$——这一量不可直接优化，因涉及对高维隐变量轨迹 $x_{1:T}$ 的积分。于是，如VAE引入近似后验 $q_\phi(z \mid x)$ 一般，DDPM构造了一个参数化的反向过程 $q_\theta(x_{0:T}) = q(x_T)\prod_{t=1}^T q_\theta(x_{t-1} \mid x_t)$，用以逼近真实的前向-反向联合路径分布。由此，通过标准变分不等式可得：
$$
\log p(x_0) \geq \mathbb{E}_{q(x_{1:T} \mid x_0)}\left[\log \frac{p_\theta(x_{0:T})}{q(x_{1:T} \mid x_0)}\right] = \mathcal{L}_{\text{VLB}},
$$
该下界 $\mathcal{L}_{\text{VLB}}$ 即DDPM所优化的目标函数。进一步展开后，它自然分解为初始重构项、中间去噪匹配项与最终先验对齐项的加权和——每一项皆对应一个KL散度，且权重由噪声调度决定。这种层层嵌套的变分结构，不是对VAE框架的模仿，而是同一原理在时间维度上的延展性重演：当VAE在潜变量空间单点采样，DDPM则在扩散时间轴上连续采样；前者压缩信息于一瞬，后者将信息流铺展为可微分的旅程。正是这同一束变分之光，照亮了两种看似迥异模型之间隐秘而坚实的逻辑通路。
### 2.2 扩散模型与神经压缩技术的关联
DDPM中采用的变分界限方法，揭示了扩散模型与神经压缩技术之间的联系。这一联系并非比喻意义上的类比，而是源于共享的数学基因——三者皆以“用可学习分布逼近难解真实分布”为根本策略，并依赖ELBO作为可计算代理目标。在神经压缩中，编码器试图将原始数据映射至紧凑表示，同时最小化率失真权衡；而在DDPM中，前向过程本身即是一种确定性压缩路径：每一步高斯扰动都在削弱信号、增强噪声熵，直至 $x_T$ 完全退化为标准正态分布——这恰是信息被系统性“擦除”的过程。反向过程则承担解压职能：模型需从纯噪声出发，逐帧恢复语义结构。因此，扩散模型可被视作一种时序化、概率化的神经压缩器：它不追求比特级效率，却以生成质量为代价，换来了对压缩-重建动态的显式建模能力。这种视角，让生成不再只是“造出新东西”，而成为一场对信息衰减与再生规律的精密复现。
### 2.3 扩散模型作为VAE变体的理论证明
从扩散模型与VAE的关系角度来理解这些模型是非常有益的。若将DDPM的整个扩散轨迹 $x_{0:T}$ 视为一个高维联合潜变量，则其结构完全符合VAE的一般定义：观测数据 $x_0$ 由潜变量 $x_{1:T}$ 生成，先验为 $p(x_T)\prod_{t=1}^T p(x_{t-1} \mid x_t)$，而近似后验为 $q(x_{1:T} \mid x_0)$。此时，DDPM的训练目标 $\mathcal{L}_{\text{VLB}}$ 正是该广义VAE框架下的标准ELBO。更进一步，当令 $T=1$，前向过程退化为单步加噪 $x_1 \sim \mathcal{N}(0, I)$，反向过程即对应经典VAE的解码器 $p_\theta(x_0 \mid x_1)$，而近似后验 $q(x_1 \mid x_0)$ 则等价于编码器。因此，VAE可被严格视为扩散步数 $T=1$ 的特例；而DDPM则是其沿时间维度的自然推广。这一理论包含关系不依赖工程启发，而由变分推断的基本恒等式所保证——它表明，扩散模型并非VAE的替代品，而是其更深、更柔韧的化身，在时间连续性中延续着变分生成的古老诗学。
## 三、总结
扩散模型与变分自编码器（VAE）并非彼此割裂的生成范式，而是在变分推断统一框架下的不同实现形态。DDPM所采用的变分界限方法，不仅揭示了其与VAE在目标函数结构、近似后验构建及ELBO优化逻辑上的深刻同源性，更进一步将VAE拓展为一种时序化、高维化的广义形式。当把整个扩散轨迹 $x_{0:T}$ 视作联合潜变量，DDPM即严格对应一个具有特定马尔可夫结构的VAE；而令扩散步数 $T=1$ 时，该模型便退化为经典VAE。这种理论包含关系由变分恒等式所保证，不依赖于工程启发或经验类比。此外，该视角亦自然贯通至神经压缩技术，凸显三者共享“以可学习分布逼近难解真实分布”的核心思想。因此，从VAE出发理解扩散模型，不仅有助于厘清其理论根基，更能为生成建模提供更具解释性与延展性的统一语言。
