2026年7月15日
郑道（Zhengdao Chen），Google Research 研究科学家
我们证明，扩散模型的创造力（即生成新颖数据而非仅仅记忆训练集的能力）是神经网络学习得分函数（score function）“平滑”版本的数学结果，这种平滑化驱动模型沿着隐藏的数据流形（data manifold）在训练数据点之间进行插值（interpolate）。
快速链接
Quick links
扩散模型（Diffusion models）是目前生成式任务中最强大的工具之一，尤其适用于需要复杂局部结构的任务，如图像生成和分子发现。它们展现出令人兴奋的泛化能力，能够超越训练数据生成新内容，从这个意义上说，它们表现出了“创造力”。例如，在使用真实图像数据集训练后，它们可以将随机噪声样本转化为新颖且高质量的图像。
虽然这种创造能力令人印象深刻，但它也引出了一个有趣的问题：这种能力从何而来？理解这个问题的答案，是揭开基于扩散的生成式 AI“黑箱”本质的重要一步。为此，我们在 ICLR 2026 上发表的论文《On the Interpolation Effect of Score Smoothing in Diffusion Models》中，深入研究了扩散模型的数学原理来回答这个问题。我们证明，模型的创造力并非偶然的巧合，而是神经网络训练在生成过程中自然“平滑”了从噪声到数据的转换过程所导致的结果。
理解去噪过程
Understanding denoising
训练扩散模型首先需要获取一组真实的训练数据样本（比如猫的照片），然后有意地用噪声污染这些数据，直到它们变得完全无法辨认。接着，模型被训练来逐步逆转这一污染过程，从而能够从纯噪声中重建出逼真的图像，这一过程称为去噪（denoising）。
如果模型仅基于训练样本完美地学会了执行去噪过程，那么在部署时它应该生成训练样本的精确副本（这种行为称为记忆化，memorization）。在这种情况下，模型充当的是检索工具，而非能够生成新颖输出的创造性引擎。
然而，在实际应用中，扩散模型通常不仅仅进行记忆，它们还能泛化并生成新的数据样本。为了理解扩散模型实际如何对数据进行去噪，可以想象随机噪声就像散布在房间里的气体粒子云，而一个“力场”将每个粒子拉向特定方向，直到它们形成有意义的形状。在扩散模型中，移动的粒子是正在经历去噪的单个数据点，而“力场”则是得分函数（score function, SF），它从训练数据中学习而来，并决定了粒子在任何给定时刻应该流向何处。
如果模型依赖于从训练数据中完美学习到的得分函数，那么力场会将粒子驱动到精确复制训练数据点的位置（即记忆化）。
得分函数驱动去噪过程，将纯噪声转化为有意义的数据（例如图像）。
扩散模型的创造力：一维示例
Diffusion model creativity: The 1-dimension example
我们发现，扩散模型的创造力实际上源于神经网络典型学习方式中的近似特性：由于正则化（regularization）导致的不完美训练，自然会使学习到的得分函数产生轻微模糊，这一过程称为“得分平滑”（score smoothing）。这进而导致去噪过程生成的数据在训练点之间进行插值（即落在训练点之间的空间中），从而创造出新颖且合理的数据样本。
想象一个只有两个训练数据点：+1 和 -1 的一维世界。在去噪过程的后期阶段，“完美”的得分函数如下图所示中的灰色曲线，它在两个点中间有一个陡峭的符号变化，这意味着在 0 附近拉力的方向发生了快速切换。换句话说，整个空间几乎被清晰地一分为二，左侧的粒子被拉向 -1，右侧的粒子被拉向 +1。最终，每个粒子都会收敛到两个训练数据点之一，从而发生记忆化。
“完美”的得分函数驱使去噪过程坍缩到训练数据上，从而导致记忆化（背景颜色及其不透明度表示拉力的方向和强度：红色表示向右，蓝色表示向左）。
然而，在实际中，扩散模型无法获得“完美”的得分函数，而是使用神经网络学习到的近似版本。由于训练过程中权重衰减（weight decay）的正则化效应，神经网络难以学习具有这些陡峭悬崖的函数。相反，它们倾向于学习“完美”得分函数的更平滑版本，将陡峭的下降缓和为平缓的斜坡。为了说明这一点，我们设计了一个实验，训练两层 ReLU 神经网络来拟合一维示例中的得分函数，并使用流行的 AdamW 算法在不同程度的权重衰减（WD）下优化神经网络的参数。
在正则化下训练的神经网络学习到得分函数的更平滑版本。
权重衰减越强，学习到的得分函数在中间区域就越平滑，这意味着该区域的粒子流动比以前更慢，并最终停留在两个训练数据点之间的“插值区”（interpolation zone）内。
得分平滑在训练数据点之间创建了一个“插值区”。
在论文中，我们通过将神经网络正则化的函数空间理论与去噪的数学原理相结合，量化了这种联系。此外，我们的实验还表明，即使没有权重衰减等显式正则化策略，得分平滑也可能源于基于梯度的算法训练神经网络时产生的隐式正则化效应。
得分平滑促进流形恢复
Score smoothing facilitates manifold recovery
在现实世界中，像高分辨率图像这样的复杂数据存在于高维像素空间中，而非简单的一维世界。然而，该空间的绝大部分只是对人眼毫无意义的随机噪声。只有一小部分数据点对应于可识别的图像，它们存在于所谓的数据流形（data manifold）中（就像嵌入在更大空间中的一张薄片）。模型事先并不知道数据流形的形状和位置。因此，图像生成可以被视为一项流形恢复（manifold recovery）任务，模型需要根据从中采样的有限训练数据来推断隐藏的数据流形是什么样子，然后在该流形上生成新的点，这些点将对应于新颖且有意义的图像。事实证明，得分平滑对于扩散模型实现这一目标至关重要。
值得注意的是，在多维设置中，得分平滑的效果以方向依赖的方式表现出来。沿着与隐藏数据流形平行（或“相切”）的方向，它会产生与一维场景中类似的减速效应。然而，沿着指向流形的方向，“完美”的得分函数已经相对平滑（事实上，如果流形是平坦的，它只是一条直线），进一步的平滑不会产生太大影响。
因此，得分平滑并非在所有方向上都对粒子的流动施加“刹车”（这会使它们停滞在充满噪声的空旷空间中，导致最终图像模糊），而是不会减慢它们向流形移动的速度，只会降低它们沿着切线方向向训练数据坍缩的趋势。通过这种方式，模型在质量和新颖性之间取得了平衡：生成的图像既逼真（因为它们成功到达了有意义的数据流形），又新颖（因为它们落入了原始训练数据点之间的空白区域）。
在多维设置中，得分平滑诱导出近似流形学习的插值效应。
结论
Conclusion
我们的发现表明，我们称之为扩散模型“创造力”的东西，实际上可能是一个可预测的数学结果。由于神经网络永远不会“完美”地尖锐，它们会在已知数据之间创建桥梁进行插值。在图像生成或药物发现中，这可能意味着扩散模型不仅记住了它见过的两张不同的猫图片或药物分子，还会探索它们周围的空间，提出结合了二者痕迹的第三张全新图像或分子构型。
我们的工作只是阐明这一机制的初步尝试，当数据分布或神经网络架构变得更加复杂时会发生什么，仍有待观察。尽管如此，通过证明这种行为从根本上源于神经网络的学习方式，我们可以开始有意地构建更好的“插值器”模型，以确保它们保持创造性引擎的特性，同时避免盲目记忆的陷阱。我们还发布了论文中用于生成图表的数值实验代码。
致谢
Acknowledgements
我们感谢 Sreenivas Gollapudi 和 Ravi Kumar 对该项目的支持，以及 Mark Simborg 和 Kimberly Schwede 帮助准备这篇博文。
快速链接
Quick links
其他相关文章
Other posts of interest
2026年7月9日
SensorFM：迈向可穿戴健康数据的通用智能与接口
2026年7月7日
协作的力量：我们如何减少交通拥堵
- 算法与理论 · 气候与可持续性 · 数据挖掘与建模
2026年6月30日
介绍 TabFM：一种用于表格数据的零样本基础模型
