企业官网建设流程全解析

原文链接：ieeexplore.ieee.org/document/11162636/

author={Tang, Linfeng and Li, Chunyu and Ma, Jiayi}

Abstract

在大多数融合任务中，基本事实(GT)的缺乏给模型的优化、评估和推广带来了巨大的挑战。现有的实现互补上下文聚合的融合方法主要依赖于手工制定的融合规则和复杂的损失函数，这引入了主观性，往往无法适应复杂的现实场景。为了应对这一挑战，我们提出了一种新的融合范例MASK-DiFuser，它巧妙地将无监督图像融合任务转化为双蒙版图像重建任务，通过将蒙版图像建模与扩散模型相结合，克服了由于没有GT而产生的各种问题。特别是，我们设计了一个双重掩蔽方案来模拟互补信息，并使用扩散模型来从两个被掩蔽的输入恢复源图像，从而聚合互补上下文。部署了具有注意力并行特征混合器的内容编码器，以提取和整合互补特征，提供本地内容指导。此外，开发了一个语义编码器来提供全局上下文，并通过交叉注意机制将其集成到扩散模型中。在推理过程中，MASK-DIFUSER从高斯分布开始，在多源图像的条件下迭代去噪，直接生成融合图像。掩蔽扩散模型从高质量的自然图像中学习先验知识，确保融合结果更接近人类的视觉感知。在红外可见、医学、多曝光和多聚焦图像融合等多个融合任务上的广泛实验表明，MASK-DiFuser显著优于SOTA融合方案。

I. INTRODUCTION

图1.克服图像融合领域缺乏真实性的各种解决方案工作流程和不同图像融合任务的示意图。

单模态(或设置)传感器从特定波段或角度捕获场景信息，使其具有全面描述场景的挑战性。因此，多源融合成为机器视觉领域的新宠，图像融合受到了极大的关注。图像融合的目的是从多幅图像中聚集互补信息，便于视觉感知和语义决策。一般来说，图像融合主要包括多模式融合和数字摄影融合。红外与可见光图像融合(IVIF)和医学图像融合(MIF)是多模式图像融合(MMIF)的代表任务。在数字摄影图像融合中，两个典型的任务是多曝光图像融合(MEF)和多聚焦图像融合(MFF)。图像融合的有效信息聚合和视觉效果使其在军事检测、智能医疗、辅助驾驶[1]、场景理解[2]、[3]等军事和民用领域都得到了广泛的应用。

深度学习的进步极大地推动了图像融合的发展。自动编码器(AE)、卷积神经网络(CNN)、产生式对抗网络(GAN)、变形器和扩散模型等一系列复杂的网络结构已经被应用于图像融合任务中，取得了良好的性能。在早期阶段，研究人员将不同的融合任务作为独立的问题来处理，并开发了几个著名的算法，如DeepFuse[4]、DenseFuse[5]、FusionGAN[6]、EMFusion[7]和SeAFusion[8]。DeepFuse率先将深度学习引入多曝光图像融合。DenseFuse、FusionGAN和SeAFusion是用于红外和可见光图像融合的三种方法。具体地说，DenseFuse开创了一个基于声发射的框架，其中深度学习明确负责特征提取和图像重建。FusionGAN将图像融合定义为生成者和鉴别者之间的对抗性博弈，标志着Gans在该领域的首次应用。SeAFusion是第一个语义感知框架，将语义引导引入到图像融合中。EMFusion是一种无监督的医学图像融合方法，通过浅层和深层约束提高了信息的保存性和互补性。除了特定于任务的方法外，研究人员还广泛探索了各种融合任务之间的共性，并在统一的框架中对它们进行了建模。一些具有代表性的统一图像融合方法包括IFCNN[9]、PMGI[10]、U2Fusion[11]、Defusion[12]和SwinFusion[13]。

值得强调的是，真实的融合图像在大多数图像融合任务中通常是不可用的[14]，这严重阻碍了图像融合领域的进步。由于缺乏权威的监督信号，研究人员在模型训练、性能评估以及方法的可解释性和泛化方面面临着巨大的挑战，使得现有的方法很难在复杂和动态的现实场景中实现稳定的应用。因此，图像融合领域提出了各种解决方案来缓解这一挑战。一方面，研究人员设计了复杂的损失函数[6]、[13]、[15]、[16]来训练直接合成融合图像的端到端融合模型，如图1(A)所示。最初，损失函数是通过测量融合图像和源图像之间的相似性来构建的，通常依赖于特定的手工制作的先验知识，这使得适应复杂和动态的融合场景具有挑战性。此外，研究人员试图手动合成地面实数(GT)来构建损失函数[17]、[18]。然而，手动GT构建不仅是劳动密集型的，而且受个人偏好的影响，并且仅适用于特定的融合任务，例如MEF和MFF。另一方面，一些方法将图像融合分解为三个过程，即特征提取、聚合和图像重建[5]、[9]、[19]，如图1(B)所示。他们通常通过自我监督训练自动编码器进行特征提取和图像重建。最后，利用手工构造的融合规则进行特征聚合。虽然这种解决方案缓解了缺乏融合GT的问题，但依赖于人类设计的启发式规则的简单手工制定的融合规则缺乏对数据本身内在融合模式的深入理解，从而在处理复杂多变的融合场景时显示出明显的局限性。此外，由于缺乏成组技术和不同融合任务的不同优化目标，大多数统一的方法仍然需要为每个任务训练特定的模型[10]，[13]。虽然U2Fusion[11]和TC-MoA[20]分别通过弹性权重合并和混合专家机制在单一模型中实现了多任务融合，但它们尚未克服与GT相关的挑战。因此，GT的缺失不仅成为图像融合领域发展的一大障碍，而且极大地限制了统一图像融合方法的适用性和推广。为了解决这一问题，我们提出了一种新的观点：通过有效地整合来自多个源图像的互补信息来构建完整的场景表示，所有图像融合任务都可以统一在生成具有自然视觉特征的高质量图像的目标下，如清晰的纹理、适当的曝光和高对比度。这一目标符合人类的感知期望，可以作为多模式图像融合和数字摄影图像融合的统一标准。

在这项工作中，我们努力解决由于缺乏地面真实(GT)而在图像融合中产生的一系列长期挑战，包括由于依赖于人工定义的基于先验的损失函数而收敛到局部次优解的优化过程，以及针对特定任务训练的模型对其他融合场景的有限适应性。考虑到自监督学习可以有效地从海量的未标记数据中挖掘潜在特征和结构信息[21]，我们巧妙地将掩蔽图像建模(MIM)[22]应用于图像融合领域，将非监督图像融合任务转化为具有GTS的自监督双掩模图像重建过程。具体地说，我们通过对图像进行两次掩码来生成两个互补输入，其中多个掩码选择性地结合高质量的图像内容、纯色补丁和退化版本。如图1(C)所示，这种双重掩码技术是我们解决方案的关键，因为它不仅模拟了实际融合场景中发现的宝贵的互补背景，而且还提供了可靠的和任务不可知的监督信号。因此，源图像可以作为真实的地面事实，为补充信息聚合过程的优化和评估提供可靠的依据。为了实现这一点，我们首先提出了一种新的双掩码方案。此外，我们使用掩蔽扩散模型作为融合网络来捕捉信息丰富的参考图像的生成先验，确保了视觉上令人满意的融合结果。为了最大限度地发挥扩散模型的潜力，我们引入了内容和语义条件分支，分别提供全面的局部和全局指导。配备注意力并行功能混合器的内容分支整合并提供本地互补上下文。语义分支使用Transformer来提取全局上下文，并通过交叉注意将其集成到扩散模型中。在推理过程中，预先训练的掩蔽扩散模型作为一个统一和通用的融合模型，自适应地聚合来自多源的互补信息，而不需要精调，通过我们的创新设计和MIM的优势，有效地解决了GT在图像融合中的挑战。我们的主要贡献概括如下：

提出了一种基于蒙版图像建模和扩散模型的自监督统一图像融合模型MASK-DiFuser，通过蒙版图像恢复来学习互补信息聚合，缓解了图像融合中缺乏GT的问题。

-设计了一种嵌入退化因子的双重掩蔽方案来模拟有价值的补充信息，并潜在地增强了融合模型对干扰的鲁棒性。

-开发了一种集成局部内容和全局语义上下文的掩蔽扩散模型，通过自我监督从自然图像中学习高质量的先验，使融合图像能够更接近人类的视觉感知。

-广泛的实验表明，我们的模型在红外可见、医疗、多次曝光和多焦点图像融合任务中表现出色，特别是在颜色保持、对比度增强和曝光适应方面。

II. RELATED WORK

A. Image Fusion

近年来，图像融合技术取得了显著的进展。一方面，特定于任务的方法现在超越了提高融合结果的视觉质量[7]、[23]、[24]、[25]，以将融合与上下游任务相结合。提出了一些实用方案，包括联合配准与融合[26]、[27]、[28]、[29]，联合增强与融合[30]、[31]、[32]，以及语义驱动融合方法[8]、[15]、[33]。另一方面，统一的方法正在逐渐增多，以增加对各种场景的普遍适用性。张某等人。将图像融合建模为纹理和强度比例保持，并引入压缩分解网络来保留融合过程中的关键信息[10]，[34]。类似地，Ma等人也是如此。将结构保持、纹理保持和适当的强度控制等多个图像融合任务统一起来，使用Swin Transformer来捕获全局上下文以进行充分的信息聚合[13].由于没有GT，这些方法需要手动选择合适的超参数并为不同的任务训练单独的模型。因此，徐等人提出了自己的观点。利用弹性权重合并，通过持续学习将各种任务的参数整合到单个模型中[11]。此外，朱等人还提出了一种新的方法。引入混合专家机制，在一个框架内实现多个融合任务[20]。值得注意的是，这些方法仍然依赖于基于融合图像和源图像之间的相似性来构造损失函数，这可能导致次优目标。

B. Diffusion Model

扩散模型(DM)[35]已经在各种计算机视觉领域获得了突出的地位，包括文本到图像的生成[36]、文本到3D的生成[37]、图像处理[38]和图像恢复[39]、[40]。图像融合领域也引入了DM[41]、[42]、[43]。例如，Difference[42]使用DM作为强大的特征提取器，而DDFM[41]将预先训练的DM与分数匹配相结合以用于图像融合。唐等人。开发了退化稳健DM和扩散先验组合模块，以聚合来自多个通道的高质量先验，有效地减轻了干扰[32]。注意，训练DM通常需要客观数据(GT)来构建马尔可夫链。Yi等人的研究成果。人工选择各种融合算法的最佳结果作为GTS来训练图像融合的特定扩散模型[44]，这可能会引入主观偏差，限制DMS的性能。因此，由于GT的缺乏，扩散模型在图像融合中的潜力仍然没有得到充分的开发。

C. Masked Image Modeling

受掩蔽语言建模[45]、[46]在自然语言处理(NLP)中的成功启发，掩蔽图像建模(MIM)[21]、[47]、[48]最近已经成为一种用于视觉表征学习的强大的自我监督学习范式。通过屏蔽输入图像的一部分并预测缺失部分，MIM促进了对空间和结构模式的理解，从而使学习多样化的视觉表示成为可能。像MASTED AUTOCODERS(MAE)[21]这样的开创性工作引入了一种非对称编解码器结构，其中编码器高效地处理可见块，而轻量级解码器重建被屏蔽的区域，有效地从不完整的输入中捕获语义和结构特征。在此基础上，Beit[48]扩展了MIM，使用记号器将图像块转换为离散的记号，利用预先学习的字典来指导重建，这在MIM和NLP中的掩蔽语言建模之间建立了更紧密的联系。此外，SimMIM[22]通过预测遮罩区域的原始像素值简化了MIM框架，避免了复杂的标记化和预先学习的字典，实现了简单性和可扩展性之间的平衡。

尽管蒙版图像建模在单峰视觉任务中取得了巨大的成功，但在图像融合领域的应用还不是很广泛。目前，融合是目前为止唯一一项融合了MIM思想的工作，利用自我监督学习和掩蔽技术进行统一的图像融合，并展示了一定程度的融合性能。然而，它主要关注的是通过将图像分解成共同和独特的特征来提高图像融合的可解释性，而不是直接解决图像融合中GT的缺失。此外，融合算法采用了一种简单的掩蔽方案，仅模拟源图像的公共和唯一信息。它还将融合限制为Y通道中的互补信息，并依赖于手动创建的颜色融合规则，这限制了其整体性能。在这项工作中，我们通过将蒙版图像建模和扩散建模相结合，并考虑真实场景中退化因素的存在来克服GT的不足，以获取高质量的生成先验信息，并产生更符合人类视觉感知的融合结果。

III. METHODOLOGY

图2.MASK-DIFUSER的总体框架，重点是通过蒙版图像建模进行自我监督训练。

A. Problem Overview

图像融合的本质是将源图像中互补的、有意义的信息融合到一幅融合的图像中。然而，由于缺乏真实的融合图像(即基本事实)，很难明确地定义有意义的补充信息。为了解决这一问题，我们提出了一种特殊的双重掩模方案来模拟有用的互补上下文，从而将无监督图像融合转化为自监督掩模图像恢复任务，如图2所示。此外，我们还引入了一个具有强大的生成和泛化能力的扩散模型，使得所提出的方案能够应用于各种图像融合任务。最终，预先训练了自监督学习的掩蔽扩散模型作为多个融合任务的统一且通用的生成器，而无需微调。具体地说，扩散模型在整合互补信息的同时，从高质量图像中学习生成先验，从而产生更符合人类视觉感知的融合结果。接下来，我们详细阐述了基于掩蔽扩散模型的图像融合的关键概念，包括双重掩蔽方案、网络结构和损失函数，以及完整的图像融合推理过程。

III.-B. Image Fusion Via Masked Diffusion Model

Fig. 3. Vanilla masking scheme vs. our dual masking scheme.

1)双掩码：给定高质量的源图像X0∈RH×W×3，香草掩码方案通常通过应用从均匀分布采样的具有固定掩码率(例如50%)的随机二进制掩码M来构建两个互补的掩码对应物(即xA和xB)，如图3(B)所示。从数学上讲，这个过程可以表示为：

其中M‘是M的逻辑否定，XP∈RH×W×3表示具有随机分配的像素值p的纯图像。然而，这种对互补信息的简化模拟经常导致后续融合模型中的模式崩溃，从而阻碍有效的信息集成。此外，它忽略了实际成像过程中常见的退化问题，如光照退化、噪声和模糊。为了解决这些局限性，我们提出了一种新的双屏蔽方案，如图3(C)所示。建议的双掩码方案定义为：

其中D(·)是一组随机退化操作，包括高斯模糊、高斯噪声、伽马校正和幅度-相位变换[49]。这种设计具有双重用途。一方面，M2用退化的补丁替换了非屏蔽区域的一部分，迫使模型从退化的输入重建高质量的内容，从而增强了它的生成能力。另一方面，M4将退化的斑块引入蒙版区域，促使模型选择性地提取和保留有价值的内容，从而提高了模型的区分能力。最终，通过生成综合考虑真实感退化的互补图像，所提出的双重掩蔽方案有效地模拟了现实世界图像融合任务中遇到的不同场景。这种方法显著提高了以自监督方式训练的基于合成数据的融合模型的稳健性和泛化能力。

2)掩蔽扩散模型：如图2(A)所示，我们的掩蔽扩散模型继承了条件扩散模型，并结合了双重掩蔽方案，其中包括正向扩散和反向去噪过程。本质上，它学习集成来自多个源图像的互补信息，同时用马尔科夫链近似高质量图像的分布。前向过程涉及将高斯噪声逐渐添加到数据分布x0∼p(X0)的马尔可夫链，其定义如下：

其中t∈[1，2，...，T]表示时间步长，βt表示噪声的变化时间表。利用高斯分布的性质和重新参数的迭代推导，我们可以将正向马尔可夫过程重新表示为：

其中。因此，t步样本Xt可以直接从X0导出为：

其中t∼N(0，i)。如果扩散时间步长T足够大，则αT将渐近接近0。因此，在正向过程结束时，XT的分布近似于标准正态分布N(0，i)。

反向过程从纯高斯分布开始，并逐渐去除噪声以恢复以两个互补的掩模图像xA和xB为条件的原始数据分布，其也服从马尔可夫链如下：

在前人工作的基础上，我们采用去噪网络θ来预测t步的噪声，以逼近平均μ，σ2t是一个随时间变化的常数。具体地，分布参数可以表示为：

其中θ(xT，xA，xB，t)表示以xT、xA、xB和t为条件的θ估计的噪声。最后，使用重新参数化技巧，可以将XT−1采样为：

其中z∼N(0，i)是标准的高斯噪声。

如图2(A)所示，我们的降噪网络θ涉及三个关键组件，即内容编码器EC、语义编码器ES和去噪U-Net ND，其中前两个组件旨在捕获局部和全局条件上下文。一方面，我们引入了一个内容编码器，它将互补的图像转换为融合的特征，提供全面的场景表示作为条件。在这种情况下，补充信息是指高质量的内容，如高对比度区域、尖锐的结构边缘、细粒度的纹理、自然光照和饱和颜色。与原始像素相比，基于特征的条件处理更好地捕捉了结构和抽象的场景信息，有效地缓解了曝光和形态差异的影响，从而方便了图像生成过程。内容分支由特征抽取器、注意力并行特征混合器和强化块组成，增强块以xA和xB为输入，生成局部内容条件，公式如下：

首先，特征抽取器对xA和xB进行处理，得到。然后将它们送入APFM，APFM通过整合通道和空间上下文来执行粗略内容融合，以评估特征重要性并生成融合权重。APFM的详细工作流程如图2(B)所示。融合的内容特征随后由增强块处理，以降低通道维度并产生FF。最后，将Ff与XT沿通道的特征投影连接起来，为去噪U网提供局部内容先验。

另一方面，语义分支集成了CNN和Transformer，旨在提供全局语义优先。具体地，我们首先将xA和xB送入共享的语义编码器，以获得SA∈RH/4×W/4×128和SB∈RH/4×W/4×128的语义表示，其表示为：

然后，通过交叉注意机制将SA和SB合并到去噪U网中，为图像生成提供全局语义指导。交叉注意机制的表述如下：

其中Q=W(I)Q·ϕi(Xt)，K=W(I)K·S，V=W(I)V·S，ϕi(Xt)表示去噪U网中第i层的中间表示，为可学习权重矩阵，d为比例因子。对于多源信息交互，我们沿着通道维度串联注意力(ϕI(XT)，SA)和注意力(ϕI(XT)，SB)。该分支确保充分利用来自多个源图像的粗粒度场景上下文，从而允许融合图像在结构、照明和颜色保真度方面与人类的感知期望保持一致。最终，通过结合局部内容和全局语义信息，噪声估计过程可以实现为。

3)损失函数：在前人工作[35]、[36]的基础上，我们使用扩散损失Ldiff来训练我们的掩蔽扩散模型，定义如下：

其中||·||2表示L2范数。尽管掩蔽扩散模型通过自监督学习优化Ldiff可以逼近p(x0|xA，xB)分布，但我们在实践中观察到它经常遭受明显的颜色失真。受[40]、[50]的启发，我们进一步引入了图像层次一致性损失，包括像素损失Lpix、结构相似性损失Lssim、感知损失Lper和颜色一致性损失Lcol.具体地，根据(5)，我们可以基于由去噪网络ˆ预测的噪声来近似θXT 0，其表示为：

因此，像素损失LPix被定义为估计的ˆxt 0和地面真实x0之间的强度差，

此外，SSIM损失保持结构相似性，其定义为：

其中，μˆxt 0和μx0是平均像素值，σ2 xˆt 0和σ2 x0是方差，σˆxt 0x0是协方差，以及c1、c2是数值稳定性常数。感知损失通过使用VGG网络从ˆXT 0和X0提取深层特征来施加约束，公式如下：

其中φL VGG表示VGG网络的L第卷积层。颜色一致性损失明确地最小化ˆXT 0和X0的颜色向量之间的角度，以防止颜色失真，其公式如下：

其中x(I)表示x的第i个像素，∠(·，·)计算rgb颜色空间中两个颜色向量之间的角度。最后，训练我们的屏蔽扩散模型的总损失是上述损失的加权和：

其中，λ1、λ2、λ3和λ4是控制各种损耗权衡的参数。算法1总结了整个训练流水线。

4)推理：一旦训练完成，屏蔽扩散模型作为一个通用的、统一的融合网络，支持红外可见、医学、多曝光、多聚焦图像对作为输入，无需微调直接生成融合图像。如算法1所示，首先将互补的多源图像送入内容编码器和语义编码器，分别提取局部内容特征和全局语义先验。然后沿着通道维度将内容特征与噪声样本XT的特征表示级联，作为去噪U网的输入，同时通过交叉注意机制将语义先验合并到U网中。最后，我们的MaskDiFuser从高斯分布出发，在局部内容和全局语义先验的指导下，根据(8)进行迭代去噪，合成出信息丰富的融合图像。