企业官网建设流程全解析

1. 成像逆问题为什么难：一张模糊照片背后的数学真相

1.1 逆问题与病态性：从一张图变成无数张图

先回到最本质的问题：什么叫成像逆问题？其实你每天都在跟它打交道——手机拍照的夜景去噪、修复老照片、显微镜下的去模糊、CT重建，这些任务本质上都可以写成同一个形式：已知观测y，想反推出干净的原始图像x，中间隔着一个前向模型A。用数学写出来就是：

y = A(x) + n

其中n是噪声。超分辨率里A是下采样算子，去模糊里A是模糊核卷积，相位恢复里A是傅里叶幅度测量，压缩感知里A是随机采样矩阵。

这句话看着简单，但麻烦在“反问题”三个字。正向过程谁都做得出来：给你一张清晰图，加个高斯模糊，谁都算得出模糊图。可反过来，一张模糊图对应的清晰图有无数种可能性。举个例子，一张模糊成一片的图，你可以认为它原本就是纯色块，也可以认为它原本有极其细密的高频纹理，只是被糊掉了——这两种假设都能完美产生同一个观测结果。这就是病态（ill-posed）问题的本质：信息在正向采集时被不可逆地丢掉了，反向求解时找不到唯一答案。

很多刚入行的同学会问：这不是有深度学习吗？我用一个卷积神经网络，输入模糊图输出清晰图，不就能端到端学出来？确实能，这也是目前很多商业产品走的路线。但端到端的黑箱有个先天短板：它对训练集之外的“观测方式”非常敏感。你训练时用的模糊核是 5x5 高斯，测试时拿到一个运动模糊，效果立刻崩掉。更不用说到相位恢复、散射成像这种连“显式写出清晰图长什么样”都困难的场景，成对数据根本凑不齐。

1.2 贝叶斯视角：先验不是加分项，而是必需品

把逆问题放到贝叶斯框架里看，一切会清晰很多。我们想求的是后验分布p(x|y)，也就是“在已知观测 y 的条件下，x 的可能性分布”。根据贝叶斯公式：

p(x|y) ∝ p(y|x) · p(x)

这里的p(y|x)叫似然项，它刻画的是“如果 x 是真相，那观测到 y 的概率有多大”，这个由前向模型A和噪声水平决定。p(x)叫先验项，它刻画的是“在没看到任何观测时，一张自然图像原本长什么样”。

关键点在于：当观测信息不足时，似然项会把概率质量摊到一整片解空间上，这时候谁来决定最终答案？是先验。先验在这里不再是“锦上添花的正则项”，而是从无数个可行解里挑选出“像自然图像”的那个解的核心力量。没有先验，或者先验太弱，求解就会陷入噪声放大或伪影泛滥。

传统方法里先验怎么来？基本上是人工设计：总变差（TV）正则假设图像是分片光滑的，小波稀疏正则假设图像在某个变换域里是稀疏的。这些先验在简单场景下好用，但它们对“自然图像长什么样”的建模能力非常有限。真实图像的纹理、结构、语义信息，远不是“分片光滑”或“小波稀疏”能概括的。

1.3 传统先验的边界在哪里

我用一个具体例子说明这个边界。有一类经典方法是迭代软阈值（ISTA）和它的加速版 FISTA，专门处理压缩感知重建。这类方法假设图像在小波域或字典下稀疏，效果在简单卡通图上不错。但你拿一张毛发极多的动物照片试，重建结果往往高频细节丢失，边缘发虚，甚至出现振铃伪影。

为什么？因为稀疏先验本质上是个“偷懒”的假设：它偏爱系数大部分为零的解，也就是偏爱结构简单的图像。但自然图像的信息熵非常高，纹理、阴影、遮挡关系这些复杂结构根本没法用“稀疏”两个字优雅地描述。所以传统先验的瓶颈不是算法不行，而是先验本身的表达能力到了天花板。要让逆问题求解再上一个台阶，必须换一个更强的先验——最好是一个能够完整刻画自然图像分布的先验。

这就引出了扩散模型登场的原因。

2. 扩散模型如何成为生成先验：从去噪到概率分布

2.1 扩散模型在做什么：一个能输出score的网络

最近几年扩散模型在图像生成领域大红大紫，从文生图到视频生成都在用。但很多人没意识到，扩散模型本质上是在学一个“自然图像的概率分布”，这个能力和逆问题求解正好严丝合缝。

扩散模型的想法非常反直觉：你有一张干净图像x0，不等它，反而故意往里面加噪声，加一步、加两步、一直加到完全变成纯高斯噪声。这个逐渐加噪声的过程叫前向扩散。然后训练一个神经网络，让它学会“猜出刚加进去的那一步噪声是什么”。一旦这个去噪网络训练好了，你就能从纯噪声出发，一步步去噪，最终生成一张自然图像。这个过程叫反向采样。

放在概率视角里看，去噪网络学习的其实是“当前带噪图像对应干净图像的梯度方向”，也就是所谓的 score：∇_{x_t} log p(x_t)。这个 score 告诉你，要让当前的带噪图更像自然图像，应该朝哪个方向调整。传统方法里先验是人工写死的公式，扩散模型里的先验则是从一个庞大的图像数据集上自动学出来的，表达能力强了不止一个量级。

2.2 Tweedie公式：为什么一步就能估计出干净图

DPS 里有一个核心操作：给定带噪图x_t，先估计它对应的干净图x0。这听起来像做梦——噪声那么大，怎么能一步就估计出来？但这背后有着漂亮的数学支撑，叫 Tweeedie 公式。

简单解释：如果x_t是由某个未知的干净图x0加高斯噪声得到的，即x_t = √ᾱ_t · x0 + √(1-ᾱ_t) · ε，那么在给定x_t的条件下，x0的条件期望有一个解析形式：

x̂0 = ( x_t - √(1-ᾱ_t) · εθ(x_t, t) ) / √ᾱ_t

这里εθ(x_t, t)就是去噪网络预测出来的噪声。换句话说，你不需要真的“一步步去噪到终点”，而是在任意一个中间噪声级别上，用网络预测的噪声反推一个当前最优的干净图估计。DPS 之所以能做到每个采样步都校正数据一致性，靠的就是这个估计子。你先把x̂0代入前向模型算预测观测，再拿预测观测和真实观测做比较，得到梯度，就知道当前这一大步走得对不对。

我第一次看到这个操作的时候觉得很神奇：明明x_t里还混杂着大量噪声，怎么用它估出的x0就能拿来算梯度？后来想明白了——我们不需要x̂0完全精确，我们只需要它的梯度方向是合理的。就像你闭着眼睛走路，每一步对方向的判断都带误差，但只要误差是有偏的、能把你拉回正确方向的，多走几步就能到终点。后面你会看到，这个“近似后验梯度”正是 DPS 既强大又需要小心伺候的地方。

2.3 无条件先验如何变成条件框架

如果只用扩散模型采样，你得到的是“随机一张自然图像”，这和“符合观测 y 的图像”是两回事。要让生成过程受观测约束，思路是在反向采样的每一步，把观测信息注入进去。这里有两种主流做法。

第一种是改造采样分布：在每一步去噪时，不只按无条件 score 走，而是按条件 score 走。也就是把p(x_t | y)的梯度分解成∇ log p(x_t) + ∇ log p(y | x_t)，前一项由扩散模型提供，后一项需要额外计算或近似。第二种是采样后投影：每次得到对x0的估计后，强行把它投影到满足观测的流形上。DDRM 这类方法走的是后一条路，但它需要A能做奇异值分解，局限性比较大。

DPS 走的是第一条路的近似版本，而且它做了一件非常实用的事情：不去严格推导条件 score 的闭式解，而是直接把观测误差的梯度当作“伪条件梯度”使用。这就把问题从“我需要针对每种观测重新训练一个条件扩散模型”，变成了“我只需要一个无条件扩散模型，再加上一个前向算子A，就能现场适配任意逆问题”。用行业的话说，这是即插即用的、零训练代价的条件采样。

3. DPS的求解逻辑：用测量梯度纠正每一个去噪方向

3.1 核心思想：在reverse过程中注入数据一致性

现在把 DPS 的求解链路完整串一遍。假设你已经有一个训练好的无条件扩散模型，它能预测任意噪声级别下的噪声场εθ(x_t, t)。反向采样从纯噪声x_T开始，按时间步t从大到小推进，每一步的任务是把当前稍微“干净了一点点”的图推向更接近自然图像分布的状态。标准的 DDPM 或 DDIM 采样在这里只负责一件事：让生成结果像自然图像，不保证它符合你的观测。

DPS 在每一轮迭代中额外加了一步：计算当前x_t对应的干净图估计x̂0，然后把它代入前向模型A，得到“如果当前估计是对的，观测应该长什么样”的预测值A(x̂0)。接着跟真实观测y比较，算出一个误差项，并求误差对x_t的梯度。最后把这个梯度乘上一个步长系数，加到原本的去噪更新方向上。

说白了，DPS 的思路像一个走钢丝的人：扩散模型告诉他“往哪个方向走能保持平衡”（自然图像流形），观测梯度告诉他“往哪个方向走能接近目标点”（数据一致性）。两个方向合在一起，每走一步同时满足两个约束。

3.2 公式拆解：x0_hat、测量误差与梯度步长

把 DPS 的更新公式写出来会更清楚。常规 DDPM 采样在时间步t会给出一个均值μ_θ(x_t, t)，然后加噪声项得到x_{t-1}。DPS 在此基础上加一个修正项：

x_{t-1} ← x_{t-1} − η · ∇_{x_t} || y − A( x̂0(x_t) ) ||²

其中：

x̂0(x_t) = ( x_t − √(1−ᾱ_t) · εθ(x_t, t) ) / √ᾱ_t

这里η是梯度步长，控制“观测约束”压得多重。∇_{x_t}表示这个梯度是相对于当前带噪图x_t计算的，而不是相对于干净估计x̂0计算的。为什么一定要相对x_t求导？因为x_t才是采样过程中真正在移动的变量，我们要修正的是当前这个带噪状态该往哪走，梯度只有作用在x_t上才能影响下一轮的状态。

有一个细节值得单独说：由于x̂0是通过εθ从x_t算出来的，所以求这个梯度时，实际上有一整条计算链路（x_t → εθ → x̂0 → A(x̂0) → 观测误差 → 梯度）。这意味着你需要对扩散模型本身做一次反向传播，而不是只对A求导。这正是 DPS 比传统方法计算开销更大的原因，也是很多人在实现时容易写错的地方。

3.3 为什么能处理非线性逆问题

DPS 一个显著的优点是它对前向模型A几乎没有限制。只要A可微，或者你能用自动微分工具算它的梯度，DPS 就能工作。这在成像逆问题里非常关键，因为现实中的测量模型很多都是非线性的：

• 相位恢复：观测是|F(x)|，也就是傅里叶变换的幅度，取模操作不可逆且非线性；
• 量化成像：观测经过低比特量化，前向关系不是简单的线性映射；
• 散射成像：光透过散射介质后，前向模型往往需要用一个非线性的物理模拟器描述。

对比来看，DDRM 这类基于 SVD 的方法需要A是线性算子，遇到相位恢复就没法直接用。而 DPS 只需要在A上调用一次前向计算，再让自动微分帮你求出梯度，实现成本低得多。这也是为什么 DPS 论文里大量展示相位恢复的结果，因为这一类问题在此之前一直缺少一个通用的生成先验解法。

不过，不需要对A做额外处理不等于没有代价。代价就是每一步多了一次反向传播，而且近似梯度的质量直接决定重建效果。下一节我会把最小可复现的代码流程完整走一遍，帮大家把纸面公式落到实际运行。

4. 从公式到可运行代码：DPS的最小复现流程

4.1 需要的组件清单与数据流

要跑通 DPS，你手头需要的东西其实很少。我按依赖关系列一份清单：

1. 一个预训练的无条件扩散模型，能够输出εθ(x_t, t)。用什么架构都行，只要它输入带噪图和噪声级别、输出预测噪声即可；
2. 前向算子A及其相关的自动微分支持。PyTorch 里只要把A写成可微函数即可；
3. 符合系统提示的观测生成方式：y = A(x_truth) + noise。测试时最好有两种数据，一种是模拟观测（有真值可以算 PSNR），另一种是真实观测（只能看视觉效果）；
4. 噪声调度表，目前大多数开源仓库都能直接拿到，DDPM 或 DDIM 都可以。

所谓“零训练”说的是：你不用改动扩散模型的任何参数，A也完全不需要预训练。整个过程只在推理阶段动态组合这两个模块。

4.2 核心采样循环的伪代码实现

我直接在 PyTorch 风格的伪代码里写清 DPS 的核心采样循环，它的主体非常短：

# 假设: # model: 预训练去噪网络，调用了输入 x_t 和时间 t # A: 前向测量算子，y = A(x) + n，支持自动微分 # alphas_cumprod: 预先算好的 alpha_bar 序列 # T: 总扩散步数 # eta: DPS 数据一致性梯度的步长系数 x_t = torch.randn_like(x_shape) # 从纯噪声出发 for t in reversed(range(1, T)): t_tensor = torch.full((x_t.shape[0],), t, device=x_t.device) # 1. 用去噪网络预测噪声 eps_pred = model(x_t, t_tensor) # 2. 用 Tweedie 公式估计干净图像 alpha_bar_t = alphas_cumprod[t] x0_hat = (x_t - torch.sqrt(1 - alpha_bar_t) * eps_pred) / torch.sqrt(alpha_bar_t) # 3. 让 x_t 变成可求导变量，计算数据一致性梯度 x_t = x_t.detach().requires_grad_(True) # 重新基于当前 x_t 计算 x0_hat x0_hat = (x_t - torch.sqrt(1 - alpha_bar_t) * eps_pred) / torch.sqrt(alpha_bar_t) # 观测误差 loss = torch.nn.functional.mse_loss(A(x0_hat), y, reduction="sum") # 求梯度 grad = torch.autograd.grad(loss, x_t)[0] # 4. 应用 DPS 修正 x_t = x_t - eta * grad # 5. 常规 DDPM 更新，得到下一步的 x_{t-1} # 这里可以用 DDIM 的更新公式加速，也可以用 DDPM alpha_t = alphas[t] alpha_bar_prev = alphas_cumprod[t - 1] if t > 1 else torch.tensor(1.0) beta_t = 1 - alpha_t beta_t_tilde = (1 - alpha_bar_prev) / (1 - alpha_bar_t) * beta_t mean = (1 / torch.sqrt(alpha_t)) * ( x_t - (1 - alpha_t) / torch.sqrt(1 - alpha_bar_t) * eps_pred ) if t > 1: x_t = mean + torch.sqrt(beta_t_tilde) * torch.randn_like(x_t) else: x_t = mean

这个循环看起来简单，但有几个实现细节非常容易踩坑。

第一个坑是x0_hat的计算顺序。刚才代码里我先算了一次x0_hat，然后又重新算了一次，这是故意的。第一次计算用的是原始x_t，用来拿到eps_pred（这一步不需要建图）；第二次计算是在x_t变成可求导变量之后重新算的，这样才能让梯度经过x0_hat回流到x_t。如果你只在前面算一次x0_hat，梯度就会因为计算图断开而直接报错或给出零梯度。

第二个坑是A(x0_hat)的数值范围。很多预训练扩散模型训练时把图像归一化到[-1, 1]，而你的观测y可能是[0, 255]范围的。我在第一次跑的时候忘了统一范围，结果梯度方向被严重扭曲，重建出来全是噪声。建议在实现里显式做一个范围映射，或者直接在生成流程的最后统一处理。

第三个坑是loss的 reduction 方式。这里我用了sum而不是mean。因为梯度步长η数值都是按照求和形式标定的，如果你换成mean，梯度大小会差一个系数1 / N，同一个η的效果会完全不同。强烈建议你选定一种之后从头到尾保持一致。

4.3 调参：步长、噪声调度、迭代次数

DPS 的超参数不多，但每一个都很敏感。最重要的当然是η，它控制数据一致性修正的强度。η太大，生成结果会过度迁就观测，出现棋盘格伪影和过平滑；η太小，观测约束形同虚设，重建结果跟纯生成没区别，完全对不上y。

我自己的经验是：η可以先从 0.1 起步，然后做一次小范围扫描，观察每一轮采样结束后A(x0_hat)与y的相对误差变化。理想情况下，这个误差应该随着迭代稳定下降，但又不能下降得过快——下降太快说明观测约束压过了生成先验，结果会失去自然图像的真实感。

第二个需要关注的是总采样步数。DPS 论文里常用 1000 步，跑起来确实慢。实际使用时可以降到 100 步甚至 50 步，配合 DDIM 采样，效果只会有轻微下降。不过步数太少会让后续每一步的x_t噪声水平跳变太大，x0_hat的估计误差也变大，梯度噪声就会增加。我建议你在 100 步上下找一个性价比平衡点。

还有一个很多人忽略的点：噪声级别的选择。DPS 里x_t是从t=T开始的，这个起点就是纯噪声。如果A的测量噪声特别低（即观测非常干净），那么理论上你想让重建结果严格满足观测，DPS 在小t附近（接近最终步）会非常挣扎。因为此时x0_hat已经比较接近清晰图，而数据一致性梯度还在大力拉扯，容易产生振铃。这种情况下适当调低η，或者在前几个步长里用一个较大的η做粗修正、后几个步长用小η做细修，效果会更稳。

4.4 常见报错与排查思路

我在复现过程中遇到过几个比较典型的报错，列出来供参考：

• grad全为零或数值很小：多半是x0_hat和A的计算链路没连上。检查是否在requires_grad_(True)之前就把x0_hat存到了变量里；
• 显存突然爆掉：DPS 每一步都要对扩散模型做反向传播，显存占用比普通采样高很多。解决办法是减小 batch size，或者在torch.autograd.grad里用create_graph=False避免高阶导；
• 重建结果对不上观测，但生成质量很好：说明η太小，或者总步数太少。可以先在模拟观测上跑，用A(x0_hat)和y的误差曲线来判断约束是否生效；
• 出现大面积伪影：排查A的实现是否符合物理模型。尤其在做去模糊或相位恢复时，前向算子的边界处理和归一化非常容易出错。

5. 效果与短板：超分辨、去模糊、相位恢复实测经验

5.1 三类任务上的表现差异

DPS 的应用范围覆盖了绝大多数成像逆问题，但我在实际测试中发现它在三类任务上的表现差异还是很大的，值得分开讲。

超分辨率是最容易出效果的任务。因为下采样算子信息丢失虽然多，但梯度信号非常干净，前向模型A就是一个简单的池化或插值下采样。用 DPS 重建时，纹理细节的恢复相当惊人，尤其对高频边缘和纹理区域，比传统插值或基于 GAN 的方法自然很多。不过我注意到，在极低倍率（比如 8 倍）下，DPS 会倾向于生成“看起来合理但未必真实”的细节——这其实是生成先验的通病，它是在用先验知识补全缺失信息，不保证和真实内容一致。

去模糊的表现也很亮眼。模糊核若是已知且空间不变的，DPS 基本可以直接拿来用。我用运动模糊核试验，重建结果比传统的 Richardson-Lucy 迭代好很多，尤其在去除振铃伪影方面。但模糊核未知时就需要额外估计核，DPS 本身帮不了你，DPS 的前提是你得有一个可用A。

相位恢复是 DPS 最能体现价值的场景。观测是傅里叶幅度，前向模型非线性的性质让很多旧方法束手无策，而 DPS 只需要把A定义为取模运算即可。不过这个场景对η的敏感度非常高，梯度方向噪声大，我建议在相位恢复任务里把η调得比超分辨小一个量级，并且配合更小的采样步长。

5.2 最容易翻车的场景：高噪声与强非线性

DPS 的理论推导是默认观测噪声是高斯的，但当噪声水平非常高时，数据一致性梯度本身也变得噪声很大，普通的高斯噪声和观测误差纠缠在一起，导致梯度信号失真。此时如果还坚持全程固定一个η，重建结果会明显偏“糊”。我的解决办法是：在噪声水平高的时候，让η随采样进程呈线性或指数增大——早期修正弱一点，后期噪声逐渐被去除后再加强数据一致性。

另一个翻车点是强非线性前向模型。比如相位恢复里取模操作后梯度方向不稳定，容易陷入局部极小。我在同样条件下多次独立采样，发现结果方差很大，有时候能恢复出漂亮的结构，有时候则是一团乱麻。这个问题的根源在于 DPS 的近似后验梯度不保证是“精确”的，它只提供一个大致方向，能不能收敛到好解，很大程度上依赖初始化（也就是纯噪声的随机种子）和采样轨迹。实践中可以多次采样，选一个A(x0_hat)最接近y的结果作为最终输出。

5.3 与DDRM等方案的定位对比

很多朋友会拿 DPS 和其他后验采样方法比较，这里简单做个对照：

这张表想说明的是：DPS 的核心优势是“通用性换灵活性”。你不必为每个新任务训练模型，只要算子可微就能用；但代价是推理时每步都要反向传播，资源开销远高于其他方案。如果任务固定且量很大，条件扩散模型重训练可能是更好的选择；如果任务多变且算子复杂，DPS 就是那个“一劳永逸”的基准方案。

6. 工程化落地：显存、时间与后处理建议

6.1 资源开销怎么估算

DPS 的资源开销主要来自两个地方：一是每步求解观测梯度，相当于做一次扩散模型的推理加一次反向传播；二是需要保留整条计算图，显存占用会比较可观。以一张 256×256 的图、100 步迭代为例，对我来说，单卡 12GB 显存是勉强够用的，但只够跑单个样本。如果把 batch size 调成 8，显存需求会急剧上升。

推理时间上，DPS 每步的耗时接近两次扩散模型前向传播（一次用于预测噪声、一次用于计算梯度）。如果原始生成一张图要 5 秒，DPS 大概要 15 到 25 秒。这个开销在同类的即插即用后验采样方法里属于偏高的一档。若任务对实时性有要求，有几条路可以走：减小模型尺寸、改用 DDIM 的少步数采样、或者用蒸馏过的扩散模型作为基础。

6.2 推理加速与稳定性技巧

DPS 在实际工程应用中，有几个加速和稳定的技巧非常实用。先说加速：由于整个循环里最耗时的是梯度回传，你可以每迭代几步才做一次数据一致性修正，而不是每一步都做。比如每隔 5 步计算一次梯度，其余步数只做常规去噪。这个方法在保持最终 PSNR 变化不大的前提下，能把推理时间降低到原来的五分之一左右。

稳定性方面，最有效的一个操作是对x0_hat做一次裁剪或归一化。由于 Tweedie 公式得到的估计在极端噪声级别下可能超出图像合理范围，直接代入A计算会产生异常大的梯度。我在代码里加了x0_hat.clamp(-1, 1)之后，早期采样的震荡问题立刻消失。另外，梯度步长η可以做一次自适应调整：如果本轮A(x0_hat)和y的误差比上一轮还大，就调低η；如果连续几轮误差下降缓慢，则可以调高η。这个策略虽然简陋，但在多数实验中都能让结果更稳定。

6.3 我个人的使用心得与建议

最后分享一些个人体会。第一次跑通 DPS 时我最惊讶的不是效果有多好，而是这个方法的“组合性”：一个预训练扩散模型像一个通用零件，接上不同的A就能解决不同问题。这种思路在计算成像里非常难得，因为真实世界的测量模型五花八门，能有一个不吃“专属训练”的通用求解器，省下来的时间成本是巨大的。

当然，DPS 也不是万能的。它对预训练扩散模型本身的质量非常敏感，模型能生成的图像域和你的逆问题数据域差距越大，效果越差。比如你用 ImageNet 上训练的模型去重建医学影像，大概率不理想，这时候需要换医学域的预训练模型，或者对模型做轻量适配。另外，DPS 的每一步都对x_t求导，这一操作在早期采样阶段会让高频噪声被过度放大，这也是为什么需要把η从头到尾做动态调整。我在多次实验中验证了这个规律：固定 η 只有在干净观测、低噪声的任务里才够用，其余情况尽量配一个简单的衰减或增长策略。

如果你准备在自己的数据上试 DPS，我的建议是从超分辨率这类梯度最干净的任务入手，跑通流程之后再上相位恢复这类非线性场景。所有超参数都可以在小规模验证集上先做一个粗扫描，选定一组之后，再用大规模测试评估整体质量。这样既能避免反复调试浪费算力，也能让你对 DPS 的行为边界有个直观认识。