企业官网建设流程全解析

原文链接：https://doi.org/10.1109/tip.2026.3671618

author={Huang, Kexin and Zhang, Zhiyuan and Shi, Chaohua and Luo, Lan and Shi, Junpeng and Liu, Yongxiang}

Abstract

红外与可见光图像融合方法已取得良好效果，但现有方法要么通过独立的融合过程牺牲了下游检测性能，要么在融合与检测模型需联合训练的情况下，牺牲了计算效率和灵活性。为解决这些问题，我们提出了一种基于扩散模型的检测驱动式图像融合网络（简称DDIF），该网络专为物体检测任务优化融合后的图像。我们的方法包含以下三个特点：1）我们将图像融合过程重新建模为一个非可微优化问题，通过该方法求解逆问题，使得融合结果在保留源模态信息的同时，符合扩散模型提供的图像先验；2）设计响应引导学习模块（RGLM）来学习响应映射，根据下游检测任务确定各模态在融合过程中的贡献程度；3）建立显式的梯度关系，确保RGLM训练与非可微优化过程之间的兼容性，从而实现端到端训练。值得注意的是，我们的框架中形成了一种适度的耦合机制：后续的检测模型经过预训练并被固定，从而能够灵活地与各种先进的检测网络集成，同时保持计算效率。大量实验表明，与当前最先进的方法相比，我们的方法在检测性能上表现更优，并能生成高质量的图像融合结果。

I. INTRODUCTION

多模式图像融合融合了来自多个传感器的图像数据，提供了更全面、更准确的场景信息，并在医学成像[1]、[2]、自动驾驶[3]、[4]、遥感[5]、[6]等领域得到了广泛的应用。红外与可见光图像融合(IVIF)作为其中一个具有代表性的课题，致力于结合两种模式的优点来获得更多的信息和更健壮的图像。虽然可见光相机在光线充足的条件下提供卓越的性能，但在光线较弱或遮挡的情况下性能会下降，但红外相机有效地解决了照明和遮挡挑战，但影响了纹理细节。

传统的IVIF方法通常依赖于手工制作的特征和融合规则[7]、[8]、[9]。近年来，基于深度学习的图像融合得到了广泛的关注，特别是通过卷积神经网络(CNN)和自动编码器(AE)结构[10]、[11]、[12]、[13]、[14]、[15]。此外，生成性对抗性网络(GANS)[16]提出了另一种途径。通过对融合图像分布进行建模并消除人工设计的融合规则，基于GaN的方法以快速的训练速度获得高质量的图像[4]、[17]、[18]、[19]。然而，模式崩塌和训练不稳定性的固有缺陷困扰着GaN模型的进一步应用。

生成模型的发展见证了扩散模型的出现[20]，这为图像合成带来了一种很有前途的范例。与GAN相比，DM通过其定义明确的基于似然的客观和渐进的去噪过程，在训练稳定性和采样质量方面表现出更好的性能，这内在地防止了模式崩溃，同时通过其逐步生成过程提供了更好的可解释性。此外，DM在模拟复杂图像分布方面表现出优越的能力，作为有效的自然图像先验，已被用于各种生成任务，包括图像修复[21]、[22]、图像平移[23]、[24]、[25]等。

尽管有这些潜力，但开发具有扩散模型的IVIF是具有挑战性的。具体地说，为了在保持源图像关键内容的同时符合图像先验知识，重新设计扩散采样过程与图像融合相结合的模型是必不可少的，但也不是微不足道的。此外，现有的图像融合方法往往将融合作为一个独立的过程来处理，忽略了下游任务[17]、[26]、[27]、[28]，这导致了后续高级视觉应用中的性能下降。其他人则主张紧密耦合的框架，同时训练融合和下游任务模块[4]、[29]、[30]、[31]。然而，这种方法受到了限制。这种管道将聚变模型与特定的探测器捆绑在一起，缺乏灵活性，这就需要为任何升级提供昂贵的再培训。这种联合优化在计算上也是昂贵的，并且面临着基本的收敛挑战，因为融合和检测之间的目标未对准可能导致相互冲突的梯度和次优的整体性能。

图1.DDIF工作流程。给定输入的可见光和红外图像v和i，响应引导学习模块学习两个响应映射ωa和ωb，然后输入到基于扩散的图像融合模块，指导融合图像u0的优化。U0由检测网络处理，其中检测损失监督RGLm训练以更新ωa和ωb以获得更适合检测的融合图像。特别是，为了在RGLM训练和不可微融合模块优化之间架起桥梁，我们建立了显式的梯度关系，形成了融合过程和检测任务之间的一种新的耦合机制，具有很高的灵活性和可扩展性。

为此，本文提出了一种基于扩散模型的检测驱动图像融合网络(简称DDIF)。离散余量法以其强大的先验建模能力被应用于各种下游逆问题的求解。这里，我们将图像融合过程看作是从已知观测(红外和可见光图像)中重建未知(融合)图像的逆问题。它通过优化策略来解决，以保存源信息，同时确保与由预训练的无条件扩散模型[20]支持的图像先验的一致性。同时，如图1所示，设计了融合过程与检测任务的耦合机制。该模型引入了响应引导学习模块(RGLM)来生成两个响应映射来指导融合图像的优化，而RGLM的训练则通过检测损失来监督。值得注意的是，建立了显式梯度关系以绕过不可微优化过程将梯度传播到RGLM，从而产生端到端训练。这里使用的检测模块是预训练和冻结的，这形成了适度的耦合，因为公共可用的检测网络可以容易地被集成以提供检测丢失指导，而不需要额外的重新训练。这一策略增强了我们框架的灵活性和可扩展性，并节省了培训资源。通过大量的实验，证明了该方法的优越性，它实现了最新的SOTA检测性能，并产生了高质量的图像融合结果。

我们的工作总结如下：

·提出了一种基于扩散模型的检测驱动图像融合网络，该网络自适应地优化融合后的图像以满足检测任务。

·我们将图像融合过程转化为一个通过优化解决的逆问题，其中融合结果保留了源通道信息，同时遵循扩散模型提供的图像先验信息。

·在图像融合和检测任务之间引入了一种均衡的耦合机制，通过RGLM模块根据检测需求指导融合。通过为不可微融合模块建立显式梯度关系，我们的框架实现了冻结的预先训练的检测模型的即插即用集成，增强了框架的灵活性

II. RELATED WORK

A. Multi-Modal Image Fusion Method

深度学习技术被广泛应用于图像融合任务，主要基于CNN[14]、[15]、[32]、[33]、AE[12]、[13]，以及Gans[4]、[17]、[18]、[19]、[34]和DMS[26]、[27]、[35]等产生式模型。Li等人。[12]首创具有特征提取和多策略集成的基于声发射的融合。Xu等人。[14]设计了一个无人监督的CNN框架，自适应地处理不同的融合任务。为了解决现实世界场景中几何扭曲的挑战，Li等人。[36]提出了一种无需严格配准即可融合错位图像的动态特征重聚合框架。Ma等人。为IVIF推出了基于GaN的融合和FusionGAN[17]，后来又推出了DDcGAN[18]，这是一种在融合多分辨率图像的同时保留细节的双鉴别器框架。随着DM的快速发展，Yue等人。[26]发展了扩散模型在红外-可见光图像融合中的应用，通过直接多通道处理实现了卓越的色彩保真度。赵等人。[27]将重铸图像融合作为基于DDPM的后验采样问题，无需模型训练即可提供更好的可解释性。Yi等人的研究成果。[35]将融合知识用于指导扩散，解决了图像融合中缺乏地面真实感的问题。最近，Lu等人。[37]提出了AU-Net，利用基于扩散的翻译的统一网络来联合优化注册和融合。Shih等人。[38]提出了一种通用的基于扩散模型的无监督图像融合框架，将融合作为多个融合任务的加权平均融合到扩散采样过程中。虽然扩散模型具有先进的图像融合，但现有的方法采用固定的融合策略，要么存在计算复杂性，要么存在理论基础不足的问题。虽然[38]提出了一种使用加权平均的动态融合方法来实现多幅图像的融合，但他们没有考虑图像融合与下游任务之间的联系。我们将图像融合重新表述为反问题，以确保可解释的、高质量的结果。同时，引入的RGLM模块使融合模块能够进行面向检测的自适应融合，提高了下行检测性能。

B. Object Detection Driven Multi-Modal Image Fusion

现有的图像融合方法主要强调保留红外图像中的热辐射信息和可见光图像中的纹理信息，但可能没有优化对检测任务至关重要的特征，这可能会影响检测性能。在此基础上，Liu et al.[4]在GAN框架的基础上，提出了一种用于生成检测友好融合图像的联合优化框架。赵等人。[30]开发了元特征嵌入网络来创建与融合兼容的语义特征，弥补了融合和检测之间的差距。Sun等人。[31]提出了一种目标感知的内容丢失，利用目标的先验位置来指导融合模型从源输入中学习热辐射和纹理信息。刘等人。[39]提出了一种双层动态学习框架，通过分层双重任务和动态加权聚合将图像融合与语义感知联系起来，同时提高融合质量和下游任务性能。唐等人。[40]提出了一种融合图像配准和融合的集成网络SuperFusion，该网络利用语义约束来确保融合结果在空间上是对齐的，并且在语义上有意义。SeAFusion[41]代表了任务驱动方法的新发展，其中高层视觉任务的语义损失被用来直接监督其基于CNN的融合模块。与直接在融合模块上进行监督的紧耦合联合训练策略相比，我们的方法创新性地引入了平衡耦合机制。通过使用冻结的预训练任务模块的检测损失来控制融合制导(即响应图)，我们的方法表现出了良好的灵活性和任务兼容性。

III. METHODOLOGY

图2.方法框架。该模型由三部分组成：(A)响应引导学习模块(RGLM)；(B)基于扩散的图像融合模块；(C)检测网络。RGLm包括两个不同的Resnet主干，通过卷积块注意模块从输入的可见光和红外图像v和i中提取分层多尺度特征，并将输出分别解码为响应映射ωa和ωb。基于扩散的图像融合模块根据扩散模型支持的重构项和正则化项，利用v、i、ωa、ωb对融合后的图像u0进行优化。融合图像随后通过预先训练的冻结检测网络进行处理，获得指导RGLM参数迭代更新的检测损失。

A. Framework Overview

如上所述，我们致力于根据特定的检测任务来增强可见光图像v和红外图像i的融合。为此，我们建议利用检测任务来监督两个响应图的学习，以指导融合过程。具体地说，如图2所示，我们的方法包括三个主要阶段。

第一阶段通过检测驱动的响应引导学习模块(RGLM)处理可见光图像v和红外图像i。其中，两个ResNet50骨干网络提取各自的多尺度特征，并使用基于卷积块注意模块(CBAM)的块迭代地校准特征重要性。这些最终得到的深度特征被输入到响应映射解码器，以生成用于随后指导图像融合的自适应响应映射ωa和ωb。

然后，在我们的基于扩散的图像融合模块中使用ωa和ωb，其中集成了这些响应图来指导从输入的可见光和红外图像中保存信息。

最后，这个精细化的融合输出通过一个冻结的、预训练的网络进行目标检测，生成指导RGLM迭代训练和更新响应图的检测结果。

B. Response Guide Learning Module

1)CBAM块：给定输入的可见光和红外图像v∈RH×W×1和I∈RH×W×1，其中H、W表示分辨率，Y通道分解后的RGB可见光图像被替换为Y通道。CBAM块通过在ResNet50主干中实现通道和空间注意机制来实现增强的特征表示。

通道注意机制建立通道间的依赖关系，动态调整通道权重以放大显著特征，同时抑制不重要的特征。设表示第i个CBAM的输入可见光和红外特征，C为特征通道数。通道注意按如下方式执行。

其中，输入要素在并行全局最大池化GMP()和全局平均池化GAP()之前经历通道级联CAT()。在多层感知器mlp()处理之后，它们被Sigmoid函数σ()聚集和激活，以最终产生最终的通道关注权重Mc∈R2×1×1×C。

空间注意机制关注特征地图的分布，通过以下计算突出关键空间区域，而抑制不相关的区域。

其中，两个输入特征都由通道式最大池化CMP()和通道式平均池化CAP()处理。然后沿着通道维度串联结果。在卷积层Conv()降维和Sigmoid函数σ()激活后，求出空间权重ms∈R2×H×W×1。

然后，通过将Mc、ms分别与输入特征Fi vi、Fi ir与广播规则相乘，得到更新的可见光和红外特征，即

其中维度0或1分别选择对应于可见光和红外特征的分量。

图3.卷积块注意模块框图。

图4.响应引导学习模块解码框图。

2)解码器：解码器根据上述多尺度特征求解响应映射，结构如图4所示。通过上述连续的CBAM块，我们得到了多尺度特征表示Ψ1 vi(Ir)∈R 1 4 H×1 4W×C，Ψ2 vi(Ir)∈R 1 8 H×1 8W×2C，Ψ3 vi(Ir)∈R 16 H×1 1 16W×4C，以及Ψ4 vi(Ir)∈R 1 32 H×1 32W×8C。我们的解码器首先对这些不同的特征通道进行1×1卷积，将它们的通道尺寸压缩到C。然后，从Ψ4 vi(Ir)∈R 1 32 H×1 32W×C开始，进行上采样，使其空间维度加倍，然后根据剩余连接与Ψ3 vi(Ir)∈R 16 H×1 1 16W×C合并，然后进入后续的上采样块。所得到的特征经历了两次额外的卷积和上采样操作。通过综合这些特征，得到可见光图像和红外图像的响应图ωa∈RH×W×1和ωb∈RH×W×1，这将指导后续的融合过程。

C. Diffusion-Based Image Fusion Module

1)反问题和变分推理的基本原理：反问题的关键是从观察中推断原因。具体地说，考虑到如下转发过程，

其中y是观测值，x是地面实数，A(·)是测量运算符，是测量噪声。然后，反问题是根据y来推断x。

变分推理(VI)[42]、[43]、[44]作为一种基于概率模型的近似方法，主要用于估计复杂系统的后验概率分布，特别是在高维或大数据量的情况下。此外，由于采用VI框架来解决使用扩散模型的反问题，采样过程被重新表示为随机优化问题[45]、[46]、[47]、[48]，这使得成熟的优化技术能够直接实现。

2)基于扩散先验Vi的图像融合：通过反问题理论[49]、[50]、[51]，我们将可见光和红外图像建模为最优融合图像的观测值，并利用基于扩散先验的变分推理进行求解，建立了一种新的图像融合采样框架。在我们的公式中，可见光和红外图像v和i被导出为最佳融合图像u0的观测值。假设融合图像u0和观测图像v，i是由它们各自的分布p(U0)，p(V)，p(I)控制的随机变量，测量过程是具有均值A(U0)和测量噪声方差σ2e的p(v，i|u0)，目标是求解以v和i为条件的后验分布p(u0|v，i)。

为了使用VI方法近似后验分布p(u0|v，i)，我们首先引入一个简单的近似分布族Q。目标是找到这个分布族的一个近似分布Q(u0|v，i)，它是用Kullback-Leibler(KL)散度来测量的，表示为

通过扩展方程中的KL散度eq.5，我们有

其中p(v，i)是观测值的先验分布，没有未知数。因此，公式的RHS中的最后一项log p(v，i)。6是一个常量，剩下的前两项构成了我们的变分边界。由于直接计算KL发散度具有挑战性，VI方法将KL发散度最小化问题转化为一个具有变分界的优化问题。目标函数记为Φ(Q)，并重写为

在下文中，我们详细阐述了所导出的目标函数的重构和正则化项。

A)重构项：当且仅当u0给定且v和i条件独立时，测量过程被表示为。假设误差项定义为。因此，观测v的概率对应于误差取特定值的概率，即。类似地，我们有。假设v和i是具有均值为零和方差为σ2的独立同分布(Iid)高斯分布。对于条件分布，。由于我们的融合适应于检测任务，因此使用RGLM生成的响应映射来管理源图像信息的保存。最后在方程中的第一项eq.7简化为面向检测的图像融合任务的融合重建术语：

我们还考虑了一般的图像融合任务，其目标经常转移到保存来自主要源图像的信息[26]，[35]。按照类似的推导，用于一般融合任务的融合重建术语：

其中max(·，·)表示取最大值的两个度量之间的像素级比较。

B)正则化项：Φ(P)中的最后一项是近似分布q(u0|v，i)和先验分布p(U0)之间的KL散度。根据[52]中的定理1和[47]中的命题1，我们将其展开为时间积分的形式，在整个正向扩散过程中测量近似分布和先验分布之间的差异。

其中Q(ut|v，i)表示前向过程中Q(u0|v，i)在步骤t(t∈[0，T])的扩散状态。β(T)是扩散过程中的噪声调度[53]。假设近似分布q(u0|v，i)服从均值为u0，方差为σ2 0的iid高斯分布。根据[20]，扩散模型的正向过程可以被表征为向数据X0逐渐注入高斯噪声，在时间步长t的数据可以表示为，其中。通过对u0应用正向过程[20]，我们得到，和。我们进一步假设融合图像的先验分布p(U0)由预先训练的扩散模型定义，并且近似于[53]。我们最终简化了eq.10至

其中是[47]中提出的β(T)的附加重加权项，以防止当t→0时正则化项变得非常大。

然而，在Φ区域优化中，自动梯度计算需要通过预先训练的扩散模型进行不必要的反向传播。为了降低计算复杂度，我们直接导出了它的显式梯度表达式，其中，λ是一个常数。附录C中提供了更多详细信息。然后，每个优化步骤中的Φ注册表表示为

最后，优化目标是

请注意，在实现中，我们将的值从计算图中分离出来，以防止通过θ进行梯度反向传播。整个工作流程如算法1所示。我们采用T个时间步长的离散设置，定义了βi=β(I/T)，其中i=1，2，...，T，αi=1−βi和累积积αi=qi j=1αj[20]。当任务是一般融合时，重建项被公式中的Φg_rec所代替eq.9.

3)检测器的损失函数：在我们的框架中，检测网络通过检测损失Ldeect为RGLM提供监督。我们使用预先训练的检测体系结构(YOLOv5[55]和YOLOv8[56])作为我们的冻结检测网络，该网络利用优化的多分量损失函数来进行全面的目标检测。对于YOLOv5，总检测损失为

其中，LCLS处理多类对象分类，Lbox优化空间边界框定位，而Lob j确定每个锚位置处的对象存在。系数λ_cls、λ_box、λ_ob_j是调制每个损耗分量的相对贡献的超参数。对于YOLOv8，通过替换公式中的客观性损失来重新表示检测损失。14具有分布焦损Ld fl，其系数为λd fl，即Ldedet=λcls·lcls+λ盒·lbox+λd fl·ld fl，它通过概率包围盒回归来提高定位精度。有关更详细的数学公式，请参阅[55]和[56]或附录D。

4)中等耦合体系结构的训练：不同于现有的同时训练融合和检测模块或采用独立融合的方法，我们提出了一种使用冻结的预训练检测模块的平衡耦合机制。然而，这种体系结构带来了训练挑战，因为梯度不能通过不可微融合模块传播。因此，我们建立了梯度关系来监督RGLM的训练，在反向传播中直接使用检测损失Ldedet来绕过融合模块。根据链规则，ωa和ωb上的LDetect的梯度计算如下，

为了建立融合图像之间的梯度关系，我们首先确定u0。这里，我们取Φo rec的最终最优解uopt来呈现融合图像u0。通过扩展Φo rec并根据公式8求u opt的导数。

将导数设置为零以最小化Φo rec，我们得到了uopt的解析解。对于反向传播中的U0，

基于上述推导，ωa和ωa的检测损耗的梯度可以近似为

因此，我们建立了一个完整的梯度反向传播过程，绕过了融合模块的不可微性，并实现了端到端的模型训练。