企业官网建设流程全解析

CVPR 2026｜TherA：让可见光照片“懂冷热”，用文字和参考图控制红外生成

1. 一句话总结

TherA 利用热感知视觉语言模型指导可见光到热红外（Thermal Infrared，TIR）翻译，让生成结果区分发热状态，并支持天气、昼夜及车辆状态控制，在标准评估和零样本测试中提升翻译质量。

2. 论文信息

• 题目：TherA: Thermal-Aware Visual-Language Prompting for Controllable RGB-to-Thermal Infrared Translation | TherA：用于可控可见光到热红外翻译的热感知视觉语言提示

• 发表：CVPR 2026

• 作者：Dong-Guw Lee¹‡、Tai Hyoung Rhee¹‡、Hyunsoo Jang¹、Young-Sik Shin²、Ukcheol Shin³、Ayoung Kim¹*

• 单位：¹首尔大学；²庆北大学；³韩国能源工科大学（KENTECH）。

• 代码：https://github.com/donkeymouse/TherA

3. 论文摘要

同一张可见光图像，在不同的天气、材料以及物体运动的状态下，会对应出很多合理的热红外外观，单纯的迁移图像风格很容易造成错误的温度分布。TherA 先推测出与温度有关的意义，并且用它来隐藏的状态去引导扩散生成的过程，同时也接受文本或者参照图来加以控制，既保证了结构上的保留又使得热外观合理并且具有跨域泛化的特性。

4、主要创新之处

与温度有关的知识作为生成条件

热感知视觉语言模型（Thermal-Aware Vision–Language Model，TherA-VLM）产生出紧凑的热嵌入，使得扩散模型可以聚焦于场景、材质以及温度的状态上。

采用两种可控制的生成方法

文本控制场景级别的条件，并且根据可见光图像来进一步控制物体的状态，但是要保持输入场景的几何结构不变。

用标准和零样本来检验效果

在M3FD、FLIR的标准评测和CART零样本测试里，TherA都得到了最好的成绩。

建立热语义的数据资源

R2T2 包含大约个可见光、热红外和文本三元组的数据集，并且提出了一个可以用来进行热感知学习的数据集和模型。

图 1. ：区分出运行和停放的车辆，并用文字以及参照图来控制翻译。

5. 方法详解

5.1 问题的界定以及整个体系的大致结构

输入的是可见光图像以及一些可以被选择的控制条件，输出的就是伪热红外图。R2T2 将九组已经对齐的数据集汇集在一起，并用来自三组同步但是没有对齐的数据集来填充伪对齐样本；多模态模型会一起研究图像对，并产生并且标准化出热语义描述。训练分成 TherA-VLM 微调和条件扩散学习两部分。

图 2. ：TherA-VLM从热嵌入中提取出来，并通过适配器被注入到扩散网络里；输入的是可见光潜在变量所给出的结构条件。

5.2 TherA-VLM：由外貌描述转为热语义

使用LLaVA 1.5作为基础模型，并用低秩适配（Low-Rank Adaptation，LoRA）对语言模型以及视觉投影模块进行微调来获得结构化的描述：

是带有参数的模型，是输入图像，是用户的提示信息，四个部分用来表示场景、物体、材质以及温度等信息，从而把条件描述由“看上去是什么”转变为“怎样发热”。

图 3. ：普通LLaVA的外貌描述和TherA-VLM的结构化热语义对比。

5.3 热嵌入适配和扩散翻译

用TherA-VLM最后的隐藏状态来代替只用输出文本作为生成条件：

表示的是热嵌入，表示的是序列长度，是一个两层前馈热嵌入适配器（Thermal Embedding Adapter，TE Adapter），在将隐藏状态映射到的同时又与 UNet 的交叉注意力输入维度相匹配。

冻结的变分自编码器（Variational Autoencoder，VAE）把图像编码成通道带噪声的热红外潜变量和通道可见光潜变量，二者拼接得到通道输入给UNet去噪重构。

5.4 文本和参考图怎样来控制结果

增加提示内容以实现对天气、日夜等场景属性的控制，并且用一张可见光图像代替原来的图片输入到TherA-VLM中去，而原来的图片仍然被送到扩散分支里来获取热状态条件，从而可以支持各种行驶和停放以及混合车辆状态。

推理使用的是双重无分类器引导（Classifier-Free Guidance，CFG）的方法，即对于图像条件和热语义条件进行分别调控。本文取图像引导系数、语义引导系数来降低对可见光潜在变量的影响。

5.5 两阶段损失函数

TherA-VLM 用教师强制学习规范化来描述：

其中为目标序列长度、表示当前词元、表示之前的真实词元、是模型预测的概率值；该损失使得模型可以从图片中学习到与之相关的热描述。

之后就只对 TherA-VLM 进行了冻结，并且只训练了 UNet 和适配器：

其中表示时间步，是添加到数据中的高斯噪声，是拼接后的潜在变量，是热嵌入条件，是注意力掩码，是噪声预测网络。用最小化预测值和实际噪声之间的平方差来训练模型，在热语义约束下生成图像；但是论文没有把两个阶段的损失合并成一个总的损失并进行加权。

❝

用一句话来概括这个方法就是：先推测出场景大概会怎么发热，然后让扩散模型按照这样的条件去产生红外图象。

6. 实验结果

6.1 实验条件

TherA-VLM 在 R2T2 上进行训练；标准翻译评估在 M3FD、FLIR 上进行训练和测试，零样本实验先在 R2T2 上进行训练再在 M3FD、FLIR、CART 上做测试，并且没有对目标基准做任何微调。用张NVIDIA A6000（）作为计算资源，LoRA参数设置为、；扩散网络从Stable Diffusion 1.4开始训练，采用AdamW算法、学习率为、每卡批次大小为、总共训练了轮。目前PDF中没有提到输入尺寸以及测试图片的数量。

指标有峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、结构相似性指数（Structural Similarity Index，SSIM）、弗雷歇 Inception 距离（Fréchet Inception Distance，FID）和学习感知图像块相似度（Learned Perceptual Image Patch Similarity，LPIPS），比较的方法有 InstructPix2Pix、F-ViTA、DiffV2IR、ThermalGen 等。

6.2 定量的结果

在标准评估里，TherA 在两个数据集中四个指标都排名第一。M3FD 的 PSNR、SSIM、FID、LPIPS 分别为、、、；相比 DiffV2IR，PSNR 提升了，FID 下降了。FLIR 对应的结果是、、、。

零样本测试也全部领先：M3FD、FLIR、CART 的 PSNR 分别为、、；CART 的 LPIPS 为，小于次优的 DiffV2IR 的。

表 1. ：M3FD、FLIR的标准翻译评价结果，粗体和下划线分别代表最好的和第二好的。

表 2. ：M3FD、FLIR、CART零样本翻译评价结果。

6.3 定性和可控性的结果

TherA 可以更好地区分发热和非发热的对象，并且保持了复杂的结构。白天的可见光图像可以被夜晚的提示所产生出相应的热图样来代替低质量的夜间数据；只有可见光的数据集没有真实的热红外数据，因此相关的结论只能是定性的说明。

图 4. ：配对的数据集以及Cityscapes、NuScenes、MegaDepth等只包含可见光数据集的零样本的结果。

图 5. ：M3FD、FLIR的天气控制和Cityscapes中所提到的参考图车辆状态控制。

图 6. ：STheReO上昼夜热反转控制：用一张可见光照片来模拟出不同的昼夜热现象。

6.4 下游的任务结果

正文中的伪热红外图像是通过生成的方式来进行预训练的，可以提高热红外分割以及可见光—热红外匹配的效果。具体的模型、数据集、评价标准和数值等信息需要补充到附加材料中去，目前的PDF文件没有包含相应的实验表格，因此不能根据这些内容来补充结果部分的内容。

6.5 消融实验

在M3FD上用热嵌入的TherA得到的PSNR值为，比通用LLaVA的和文本条件变体Lavi-LLama的都要高一些，说明隐藏状态条件是有益的。但是FLIR的FID最好的是LLaVA的，TherA的则是次优；不能把消融的结果总结成全面的优势。

表 3. ：InstructPix2Pix、LLaVA、Lavi-LLama和TherA的条件设计消融情况。

7. 结论和预测

总结

TherA 将热相关语义嵌入到扩散翻译中，并且证明了可控生成和零样本泛化的能力。它的输出表示的是相对热强度，不能当作绝对的温度或者辐射值来用；目前的PDF没有给出参数数量、计算量以及推理消耗的时间等信息。

❝

可见光转换成红外线，并不是简单的改变形式，而是要给生成的过程加上“为什么发热、怎么发热”的条件。

往期推荐

[#多模态信息融合](javascript:😉[#模态转换](javascript:😉[#红外与可见光](javascript:😉[#CVPR](javascript:😉[#首尔大学](javascript:😉