企业官网建设流程全解析

TIP 2026

Multi-Focus Image Fusion

换一个优化视角不要先堆积网络，而要先改变输入空间差异特征×边缘特征×FDFM

传统的多聚焦图像融合（MFIF）方法，一般都会在网络结构、损失函数或者训练数据等方面继续“加码”。但是该文把问题向前推进了一步：如果输入的空间本身就已经充满了共享冗余、伪影以及异构特征，那么再复杂的后端也必须先花大力气去“去噪、找差异”。

作者因此提出了一个偏向于“前端重构”的思路：用预训练来模糊掉网络和显著性目标检测网络中提取出来的信息**差异特征（discrepant features）和边缘特征（edge features）**然后用无训练参数的FDFM把这些任务无关的中间特征蒸馏成更适合MFIF的输入表示，最后交给一个纯CNN的YUNet预测决策图。

论文在六个基准数据集上和十三种方法进行比较，并且报告了该方法在表II中的54个“数据集×指标”的条目中所取得的成绩40 项领先。更重要的是，作者又把构造出来的输入表示接在其他的MFIF方法之前，证明了“输入空间优化”不只用在自己网络上。

论文信息

论文名称：Rethinking Multi-Focus Image Fusion: An Input Space Optimization View

作者：Zeyu Wang，Shuang Yu*，Haoran Duan，Shidong Wang，Yang Long，Ling Shao

作者单位：大连民族大学计算机科学与工程学院；哈尔滨工业大学计算学部 / 吉林大学计算机科学与技术学院；清华大学自动化系；英国纽卡斯尔大学工程学院；英国杜伦大学计算机科学系；中国科学院大学 UCAS-Terminus AI Laboratory

论文链接：

https://ieeexplore.ieee.org/document/11360576

为什么从“输入”再想到MFIF呢？

论文认为，直接将多焦点源图像的空间域像素送入端到端网络中，会使两种不同类型的信息一同被带入：一种是区分清楚或模糊区域真正所需要的判别信息；另外一类就是来自不同源的图片之间有大量的重合部分，但是对于焦点检测的帮助不大。后一种情况会干扰到焦点的判断，使得网络需要另外去学习“丢掉什么、保留什么”。

如果输入空间没有得到很好的设计的话，现有的方法就会转向依靠复杂组合损失或大规模合成训练集。前者会带来指标和超参数的选择负担，后者又很难完全模拟出真实的散焦成像效果，容易造成合成域和真实场景之间存在差异。

作者又把“直接复用预训练中间特征”这个问题分解为三部分：中间部分可能会出现伪影或者摩尔纹通道之间有大量的冗余；各个层次的特征处于异构的空间中，不能直接结合起来使用。FDFM 是根据这三方面的问题来设计的。

可视化差异特征和边缘特征在FDFM处理之后的输入空间中，就是理解“为什么改变输入会使得焦点检测变容易”的重要图形。

创新点

01

输入空间优化：把优化对象往前移

不是继续堆积更加沉重的融合网络，而是要先构建出针对某个具体任务的MFIF输入空间。论文的第一、二阶段用来进行空间构造，其中特征提取器的参数是被冻结的，而FDFM本身并没有可以被训练出的神经参数。

02

差异特征、边缘特征：两种互相补充的信息

非边界区域要回答的是“哪一张更清楚”，所以需要有可以放大清晰度和模糊度差别的discrepancy cue；边界区域要回答的是“焦点切换边界在哪”，所以需要结构更加明确的edge cue。作者分别使用VDSR类去模糊网络和U²Net显著性检测网络获得两种特征。

03

FDFM：训练自由的特征适配器

FDFM 将高维特征看作流形，把传统的边缘保持领域中的manifold-domain-transform扩展到任意高维特征空间中去；同时设计了梯度敏感距离度量以及1D等距域变换，使得低维递归滤波可以近似地承担高维边缘保持过滤，并完成异构特征对齐与蒸馏。

04

输入表示具有可迁移性

作者不仅证明了自己YUNet的有效性，还构造出一个feature representation，并将其作为DCNN、SESF、IMF、空间频率(SF)、Sobel等方法的输入。根据表VIII可知大部分指标都有所提高，这说明收益来源于输入空间本身，并不完全依靠特定的后端。

Stage I 提取差异/边缘特征，Stage II 用 FDFM 蒸馏融合，Stage III 用 YUNet 输出决策图，再回到源图生成全聚焦图像。

决策图驱动的最后融合

给定配准后两幅多焦点源图像A和B以及由决策图D决定的最终融合图像。对于每一个像素的位置，D 越接近 1，就越倾向于选择 A，反之则倾向于选择 B。

论文 Eq. (1)

2. Stage I: 用其他的视觉任务来借用特征

差异特征分支使用VDSR。作者把pre-upsampling超分网络看作是“模糊到清晰”的去模糊映射，它的残差和中间表示对于清晰度差异非常敏感。因此可以突出focused/defocused区域的不同。

边缘特征分支使用的是U²Net，而普通的边缘检测器则不适用。论文给出的理由是：显著性检验数据和MFIF场景更加接近，并且显著目标边界和焦点决策边界之间具有更强的相关性；直接检测所有的背景纹理边缘反而可能会引入噪声。

3. Stage II: 将高维特征映射到一个共同的输入空间

设预训练网络所输出的高维特征图为I_F∈R^{C×H×W}}。每一个空间位置都包含了坐标以及C个通道响应，作者把它们写成了C+2维流形上采样的点：

论文 Eq. (7)

然后用近似的等距域变换t把高维流形上局部的距离压缩到低维空间中去。论文最后选择了k=1，这样就可以在一维域里用高效的递归滤波：

论文 Eq.(8)

主要目的并不是随便降低维度，而是在变换域中找到一个低维滤波H，使其尽可能接近于原高维流形上理想的边缘保持滤波F：

论文 Eq.(9)

为了使距离度量对于边缘的变化更加敏感，在L2距离的基础上加入梯度相关的“动量”，然后通过局部的距离关系来推导出Domain Transform。对连续形式的积分之后，域坐标的累积可以用下面的递推公式来表示：

论文 Eq. (15)

在二维图像中，该一维变换沿着水平和垂直两个方向进行双向处理，从而减小了递归滤波的不对称性。经过DT之后，作者再根据各个通道的绝对像素值之和来分配权重，并把多通道的信息压缩成可以用于MFIF的紧凑表示。

4. Stage III: YUNet 对焦点进行分割

YUNet 是一种Siamese-style双编码器+单解码器结构，两个编码器不共享权重；主体是由很多个RSU模块组成的，并且通过多尺度侧输出来产生最后的决策图。

由于前面两个阶段已经对输入进行了整理，所以后端不需要使用Transformer。YUNet 由两个编码器、一个解码器以及标准交叉熵损失组成。作者使用随机二值掩码对自然图像进行区域高斯模糊，并合成10,000对多焦点训练样本。

6 个基准数据集 × 13 种比较的方法

作者使用了LYTRO、MFFW、TSAI、AYMAZ、SAVIC和STAND六个数据集，并选择了IFCNN、DRPL、SESF、L1F、SDNET和U2Fusion、GACN、SwinFusion、DeFusion、ZMFF、FusionDiff、M2CDL、FILM 共 13 种比较方式。Table II 实际展示 9 个融合的质量指标。

从论文的归因分析来看，在MFFW中强散焦扩散(DSE)场景上尤其受益于构造之后的输入空间：差异特征负责突出清晰度的变化，边缘特征帮助抑制伪边界。

各种MFIF方法的定性融合的结果和放大区域可以用来直接观察边缘清晰度、近焦区伪影以及局部结构保真。

2. 决策图：除了看融合图之外，还可以直接看“选哪张”

因为真实的MFIF场景一般没有决策图的真实值，所以作者另外从DUTS和SR数据中构造出1000组测试图像，并把决策图当作分割结果来使用，用PA、NMSE、SSIM、NMI、IoU、DICE、SE七项指标进行评价。论文中提到的方法，在两个测试集中的大部分指标上都比六个比较网络好。

不同的算法所生成的决策图；最右边一列是本文的方法，可以重点看目标边界的完整性以及模糊过渡区。

3、消融以及“输入空间可迁移”的验证

消融结果表明，单独用 discrepancy feature、edge feature 中的一个效果都不如两者结合的效果好；去掉FDFM，并将其替换为简单的通道平均，也会使得StageIII的各项指标大幅度降低。距离度量和edge-preserving机制的替换实验也进一步证明了DT并不是可以有也可以没有的后处理。

将本文构造出的feature representation(FR)接到DCNN、SESF、IMF、SF、Sobel前端之后得到的结果。大部分评价维度都有所提高，“输入空间优化”的通用性得到了直接的证明。

不同的网络在训练集上的规模以及损失函数之间的比较。本文用到了10,000个训练样本，只用了标准交叉熵损失。

4、代价和边界：性能并不是“白给”的

论文中已经明确计算代价：因为除了FDFM和DT之外，在本文的方法中也存在没有进行GPU加速的操作，所以本文方法的平均推理时间大于各种神经网络方案。可学习参数量为38.63M全部来源于Stage III的YUNet；如果两个编码器共享权重的话，就可以降低22.52M。

低纹理、弱清晰度对比区域会减弱两种重要的特征；随机生成的焦点边界如果和场景语义结构相差很大，也会导致决策边界发生偏移。

本文的主要价值不在于提出一个全新的MFIF网络，而是在于把“网络为什么难学”归结到输入空间上。首先用与任务相关的先验来去除共享冗余、强化清晰度差异和目标边缘，然后由后端进行焦点分割不是一条和“继续加深网络/继续叠损失”一样的优化途径。

从实验结果来看，作者不仅在六个基准数据集上取得了很好的效果，在Table VIII中也用事实证明了所设计的输入表示可以辅助多种已有的方法；这样就使得“输入空间优化”更像是一个可以重复使用的前处理范式，并不是仅仅和YUNet绑定的技术。

同时，弱纹理、弱焦点对比以及不符合语义结构的合成焦点边界仍然有可能造成错误的决策图；推理的时间也受特征提取以及非GPU DT的影响。作者所提出的一个未来的方向就是，在决策图的学习当中加入更加强大的语义理解能力。

往期推荐