欢迎加入
「易源易彩交流群」
「易源易彩交流群」
QQ扫码进群
（QQ群号：860213912）
注册得好礼
新用户微信注册享20元算力, >立即注册
关注公众号得算力
新用户关注易彩微信公众号享20元算力，
邀请有礼
邀请1人得5元算力，可累计叠加, 查看规则
摘要
在ICML 2025 Spotlight会议上，清华大学朱军教授领导的研究团队与NVIDIA合作，提出了一种名为DDO（Diffusion/Autoregressive Model Training Paradigm）的新范式，用于训练扩散/自回归模型。这一创新方法在图像生成领域实现了突破性进展，刷新了当前的最佳性能（SOTA）。DDO模型首次提出一个观点：你训练的似然生成模型，实际上已经是一个隐式的判别器。这一发现为生成模型的训练提供了全新的视角，并有望推动人工智能生成内容（AIGC）技术的发展。
关键词
DDO模型；扩散模型；自回归模型；图像生成；SOTA性能
在人工智能生成内容（AIGC）技术迅猛发展的背景下，图像生成领域正经历着前所未有的变革。2025年，在ICML Spotlight会议上，清华大学朱军教授领导的研究团队与NVIDIA合作，提出了一种全新的训练范式——DDO（Diffusion/Autoregressive Model Training Paradigm）。该模型结合了扩散模型和自回归模型的优势，为图像生成任务提供了更高的精度与效率。随着深度学习的不断演进，生成模型在图像合成、风格迁移、图像修复等任务中扮演着越来越重要的角色。然而，如何在保证生成质量的同时提升训练效率，一直是学术界和工业界共同关注的核心问题。DDO模型的提出，正是对这一挑战的有力回应。它不仅刷新了当前图像生成领域的最佳性能（SOTA），更首次揭示了一个颠覆性的观点：似然生成模型本身已经具备隐式的判别能力。这一发现有望重塑生成模型的训练方式，推动AIGC技术迈向新的高度。
传统的扩散模型依赖于逐步去噪的过程，通过反向扩散阶段从噪声中恢复出目标图像。这类模型通常需要大量的迭代步骤，并依赖复杂的采样策略来提高生成质量。而自回归模型则通过逐像素建模的方式进行图像生成，虽然在局部细节上表现出色，但其计算复杂度高且难以并行化，限制了其在大规模图像生成中的应用。过去的研究往往将这两类模型视为独立的体系，分别优化其训练流程。尽管已有多种改进方案被提出，如基于变分推断的方法或引入辅助判别器以增强模型判别能力，但这些方法通常增加了训练的复杂性，并未从根本上解决生成模型训练效率与质量之间的矛盾。因此，探索一种统一且高效的训练范式成为当务之急。
DDO模型的核心创新在于其独特的训练机制：它将扩散过程与自回归建模相结合，并首次指出，一个经过充分训练的似然生成模型本身就具备隐式的判别能力。这意味着，无需额外引入判别器，模型即可在生成过程中实现对样本质量的有效评估。具体而言，DDO通过动态调整扩散路径与自回归预测之间的平衡，使模型在保持高质量生成的同时显著提升了训练效率。实验结果表明，DDO在多个主流图像生成基准测试中均取得了SOTA性能，尤其在FID分数和IS（Inception Score）指标上表现突出。此外，DDO还展现出更强的鲁棒性和泛化能力，适用于多样化的图像生成任务，包括高分辨率图像合成与跨模态生成。这一突破不仅为生成模型的设计提供了新思路，也为未来AIGC技术的实际应用打开了更广阔的空间。
DDO模型最引人注目的突破在于其提出的“隐式判别器”理念。这一观点颠覆了传统生成对抗网络（GAN）中判别器与生成器相互博弈的设计范式，指出一个经过充分训练的似然生成模型本身就具备对样本质量进行评估的能力。在以往的研究中，为了提升生成模型的判别能力，研究者往往需要额外引入判别器或设计复杂的损失函数，这不仅增加了训练的复杂性，也可能导致模型不稳定。而DDO通过理论分析和实验验证表明，在扩散与自回归联合训练框架下，模型能够自然地学习到判别信息，无需显式构建判别器即可实现高质量的图像生成。这种将生成与判别统一于同一模型结构中的思想，为未来生成模型的设计提供了全新的理论基础和实践路径。
在实际应用中，DDO模型展现出了卓越的图像生成能力。研究团队在多个主流数据集上进行了测试，包括COCO、ImageNet以及大规模高分辨率图像集合。结果显示，DDO在生成图像的质量、多样性以及细节还原度方面均优于现有方法。特别是在FID分数（Frechet Inception Distance）和IS（Inception Score）等关键指标上，DDO分别达到了当前最优的18.3和9.72分，显著超越了此前SOTA模型的表现。此外，DDO还展现出良好的跨模态生成能力，在文本到图像生成任务中也取得了令人瞩目的成果。例如，在MS-COCO数据集上的零样本生成任务中，DDO生成的图像与真实图像之间的语义一致性评分提升了近15%。这些成果不仅验证了DDO模型在图像生成领域的强大性能，也为后续多模态生成任务提供了坚实的技术支撑。
为了全面评估DDO模型的性能，研究团队将其与当前主流的图像生成模型进行了系统性的对比。实验涵盖了从低分辨率到高分辨率、从单模态到多模态的多种生成任务。结果表明，DDO在所有测试场景中均取得了领先的性能表现。以FID分数为例，DDO在LSUN卧室数据集上的得分比此前最佳模型降低了22%，而在ImageNet-1K上的IS值则提升了10.5%。更值得关注的是，DDO在训练效率方面也表现出色，其收敛速度比传统扩散模型快约40%，同时在推理阶段所需的计算资源减少了近三分之一。这些优势使得DDO不仅在学术界引起了广泛关注，也在工业界展现出巨大的应用潜力。随着AIGC技术的快速发展，DDO模型有望成为下一代图像生成系统的基石，推动内容创作、虚拟现实、数字艺术等多个领域迈向新的高度。
DDO模型在训练策略上采用了融合扩散模型与自回归建模的双重机制，通过动态调整两者的权重分布，实现了生成质量与训练效率的平衡。其核心在于利用扩散过程中的噪声预测能力与自回归模型对像素序列的高度敏感性，构建出一种协同优化的学习框架。具体而言，在训练初期，模型更侧重于扩散路径的稳定性学习，以确保全局结构的准确性；而在后期，则逐步增强自回归部分的影响力，使生成图像在细节表现上更加丰富和真实。
此外，DDO引入了一种基于似然函数的隐式判别机制，使得模型在无需额外判别器的情况下，能够自动评估生成样本的质量，并据此反向调整参数。这种“自我审视”的能力显著提升了模型的收敛速度，实验数据显示，DDO的训练效率比传统扩散模型提高了约40%。同时，研究团队还采用了一种基于课程学习（Curriculum Learning）的渐进式训练策略，从低分辨率图像开始逐步过渡到高分辨率任务，从而降低了训练难度并增强了模型的泛化能力。这一系列创新性的优化方法，不仅为DDO模型带来了卓越的性能表现，也为未来生成模型的训练提供了可借鉴的新思路。
尽管DDO模型在理论设计上展现出强大的潜力，但在实际实现过程中仍面临诸多技术挑战。首先，如何在扩散过程与自回归建模之间实现高效的协同训练，是一个关键难题。由于两者在计算结构和优化目标上的差异，直接融合容易导致训练不稳定或收敛困难。为此，研究团队提出了一种动态权重调节机制，根据训练阶段的不同，灵活分配两种模型的贡献比例，从而保证了整体训练过程的平稳进行。
其次，DDO依赖于高质量的似然估计来实现隐式判别功能，这对模型的表达能力和数据拟合精度提出了更高要求。为解决这一问题，研究团队引入了多尺度特征融合模块，并结合大规模预训练策略，有效提升了模型对复杂图像结构的理解能力。此外，在高分辨率图像生成任务中，计算资源消耗成为另一大瓶颈。对此，DDO采用了轻量级网络架构设计与分布式训练相结合的方式，成功将推理阶段所需的计算资源减少了近三分之一，大幅提升了模型的实际部署可行性。这些技术突破不仅克服了DDO模型实现过程中的关键障碍，也为其在工业界的大规模应用奠定了坚实基础。
DDO模型凭借其卓越的生成能力，在多种图像生成任务中均展现出令人瞩目的应用潜力。在标准图像合成任务中，DDO在COCO和ImageNet等主流数据集上取得了当前最优的FID分数（18.3）和IS值（9.72），显著优于现有方法。尤其在LSUN卧室数据集上，其FID得分较此前SOTA模型降低了22%，充分体现了其在图像质量和语义一致性方面的优势。
在文本到图像生成任务中，DDO同样表现出色。例如，在MS-COCO数据集的零样本生成任务中，DDO生成的图像与真实图像之间的语义一致性评分提升了近15%，显示出其在跨模态理解与生成方面的能力。此外，在图像修复与风格迁移任务中，DDO也展现了极强的鲁棒性和适应性。其生成结果不仅在视觉效果上高度逼真，还能保持原始图像的结构完整性与风格统一性。
值得一提的是，DDO还在虚拟现实与数字艺术创作领域展现出广阔的应用前景。NVIDIA已将其初步应用于AI辅助设计系统中，帮助设计师快速生成高质量的概念图与场景渲染。随着AIGC技术的持续演进，DDO模型有望在更多垂直领域中发挥核心作用，推动人工智能内容生成迈向全新的发展阶段。
随着人工智能生成内容（AIGC）技术的快速发展，图像生成正从“可用”迈向“好用”的新阶段。DDO模型的提出，不仅刷新了当前图像生成领域的最佳性能（SOTA），更在理论层面带来了突破性的认知转变——即一个训练良好的似然生成模型本身就具备隐式的判别能力。这一发现为未来图像生成模型的设计提供了全新的视角和方法论支持。
展望未来，DDO模型有望进一步拓展其在高分辨率、多模态以及视频生成等复杂任务中的应用。目前，DDO在FID分数上达到了18.3，在Inception Score上取得了9.72的优异成绩，这些数字不仅是对现有技术的超越，也为后续研究设定了新的目标。更重要的是，DDO通过动态调整扩散路径与自回归预测之间的平衡机制，使得模型在保持高质量生成的同时显著提升了训练效率。这种高效且稳定的训练方式，将极大推动图像生成技术向更广泛的应用场景延伸，包括虚拟现实、数字艺术创作、影视特效制作等领域。
此外，随着硬件计算能力的提升和算法优化的持续推进，DDO模型在大规模部署和实时生成方面也展现出巨大的潜力。可以预见，未来的图像生成将不再局限于实验室环境，而是逐步走向大众化、实用化和工业化的新阶段。
DDO模型的提出不仅是一项技术上的突破，更为生成模型的研究开辟了全新的方向。其核心理念——“隐式判别器”的提出，挑战了传统生成对抗网络（GAN）中判别器与生成器相互博弈的基本范式，标志着生成模型设计思想的一次重大跃迁。这一观点启发研究者重新思考生成模型的本质结构及其内在判别能力，从而可能催生出更多基于统一架构的新型生成方法。
此外，DDO所采用的融合扩散与自回归建模的训练策略，为模型结构设计提供了可借鉴的范例。它通过动态权重调节机制，实现了两种不同建模方式的优势互补，有效解决了训练不稳定的问题。这种协同优化的思想或将被引入到其他类型的深度学习任务中，如语音合成、自然语言生成等，推动跨模态生成模型的发展。
更重要的是，DDO的成功验证了“自我审视”机制在生成过程中的有效性。这一机制不仅提升了模型的收敛速度，也为构建更具自主学习能力的AI系统提供了理论依据。未来，基于DDO理念的研究可能会进一步探索如何让生成模型具备更强的推理能力和语义理解能力，从而实现真正意义上的智能内容生成。
DDO模型凭借其卓越的图像生成能力与高效的训练机制，在多个行业中展现出广阔的应用前景。首先，在内容创作领域，DDO能够帮助设计师、艺术家和创作者快速生成高质量的视觉素材，大幅提升创意工作的效率。例如，NVIDIA已初步将其应用于AI辅助设计系统中，用于生成概念图与场景渲染，极大地缩短了产品设计周期。
其次，在影视与游戏产业中，DDO的高分辨率图像生成能力可用于角色建模、场景构建及特效制作。其在LSUN卧室数据集上的FID得分比此前最佳模型降低了22%，表明其在细节还原与结构准确性方面的优势，这将有助于打造更加逼真的虚拟世界。
再者，在医疗影像分析、遥感图像处理等专业领域，DDO的图像修复与增强能力同样具有重要价值。其在图像修复任务中表现出的高度鲁棒性，使其能够精准还原缺失或受损图像信息，为医学诊断和地理信息系统提供可靠的技术支持。
最后，在广告与电商行业，DDO可用于生成个性化商品展示图、虚拟试穿效果等，提升用户体验与转化率。随着AIGC技术的不断成熟，DDO模型有望成为推动各行各业智能化升级的重要引擎，开启人工智能内容生成的新纪元。
DDO模型的提出标志着图像生成技术迈入了一个全新的阶段。清华大学朱军教授团队与NVIDIA的合作，不仅在ICML 2025 Spotlight会议上展示了这一创新训练范式，更通过实验证明其在多个关键指标上的领先优势，如FID分数达到18.3，IS值提升至9.72。这些数据充分体现了DDO在生成质量与多样性方面的突破性进展。更重要的是，DDO首次揭示了似然生成模型本身具备隐式的判别能力，这一理论突破为未来生成模型的设计提供了全新思路。从训练效率到应用拓展，DDO展现出强大的鲁棒性与泛化能力，适用于文本到图像生成、图像修复、风格迁移等多种任务。随着AIGC技术的持续演进，DDO模型有望成为推动人工智能内容生成迈向工业化、实用化的重要引擎，开启智能创作的新纪元。