图像质量评估(IQA)领域有一组尴尬的数字对比:在 AI 演示数据集上,把多个客观指标组合起来,斯皮尔曼等级相关系数(SROCC)从最强单指标的 0.3022 提高到 0.7384。做出这套结果的是波兰什切青西波美拉尼亚理工大学(West Pomeranian University of Technology)的 Piotr Lech 与 Krzysztof Okarma,工具名为 combHIQA,论文刊于《SoftwareX》第 36 卷,文章编号 103117,DOI 为 10.1016/j.softx.2026.103117,相关报道出现在 10 月 12 日。
但 combHIQA 真正针对的不是“哪个指标更准”,而是研究流程本身的混乱。IQA 数据集形态各异:有的把平均意见得分(MOS)表格与失真图像文件夹打包在一起,有的用差分 MOS(DMOS),数值范围不同,方向甚至相反——有些约定里数值越低代表感知质量越好。有的数据集带参考图,可做全参考(FR)指标;有的只能做无参考(NR,也称盲评)指标,没有任何基准真值。野外采集的数据集带着真实拍摄失真,实验室数据集则侧重 JPEG 压缩、高斯模糊、几何畸变等合成损伤。在比较或合并任何客观指标之前,这些约定都要先对齐;若对齐决策散落在笔记本和脚本里,实验几乎无法复现和复用。
combHIQA 的解法是“契约驱动”的准备流程。研究者必须用显式的准备配置描述源数据集,工具随后校验可用定义、把所有主观分数转成统一的“数值越大越好”方向、生成经过验证的图像—分数对照表、计算配置好的质量指标,最后导出三份互相衔接的 JSON 文件:统一数据集、指标注册表、实验配置。三份文件依次校验,构成一个可移植的整体包。关键在于,指标注册表是每个指标类型(全参考还是无参考)与方向(越大越好还是越小越好)的唯一运行时真值来源;逐图记录只保留指标名称和数值,数据无法悄悄改写自己的语义。
架构上,软件分成两个由 JSON 契约连接的部分。准备子系统约占已实现功能的 70%,负责识别源数据集结构、校验 MOS 值与图像路径、构建指标注册表、调用指标运行器并导出准备好的包;实验子系统负责加载包、归一化指标值、挑选指标子集、可选地优化混合参数、评估预测结果并输出报告。这种拆分的实际好处是:计算量大的指标可放到高性能计算集群上跑,轻量指标留在普通笔记本上,实验核心也不再受某个数据集目录结构牵制。软件用 Python 编写,基于 pyIQA 工具箱和 PyTorch,在 Linux 下可跑在 CPU 或 CUDA 上,以 MIT 许可在 GitHub 发布。
数学处理刻意保持透明:原始指标用 min-max 归一化,低优方向的指标在归一化后反转,常量或近似常量列映射为 0.5 以避免数值失败,越界数据的裁剪会被记录下来而不是悄悄抹掉。指标选择用的是作者所称的“最有价值预测器”(MVP)选择器,判据很简单:候选子集内归一化指标均值与主观分数之间的 SROCC。贪心前向算法逐一评估剩余指标、接受最优候选,每一步要求相关系数至少提升 0.001,所有被接受的添加、候选得分和最终子集都存进可查阅的选择历史。只有在这个可解释的基线之后,实验性优化器才会登场:它构造加性与乘性分量结合的非线性混合质量分,用差分进化拟合参数,以最大化与人类判断的斯皮尔曼相关。作者明确把它标为“实验性”——参数灵活性可能只是在迎合当前数据的特性。
验证用四个演示数据集覆盖无参考与全参考场景,质量分由单一评估者给出,仅作伪 MOS 用于测试软件。除 AI 集外,Street 数据集从 0.5673 升到 0.8758,Mountain 从 0.6115 升到 0.7084,Outdoor 从 0.8423 升到 0.8858。作者强调这些数字只验证工作流,不构成指标性能基准。
在两个公开数据集上的端到端验证则冷静得多:使用 NIQE、PIQE、BRISQUE 等快速无参考指标,优化组合只带来有限提升——全分辨率 KonIQ-10k 从 0.5273 到 0.5425,小分辨率版本从 0.3688 到 0.3906,TID2013 从 0.3672 到 0.4167。TID2013 的单指标结果与 pyIQA 文档报告的基准一致,说明计算正确性没有问题。KonIQ-10k 最终选中的组合是 NIQE 与 BRISQUE,TID2013 选中的是 BRISQUE 与 PIQE。由于选择与优化都在各自数据集内部完成,作者提醒这些结果证明的是流程可用,而非跨数据集泛化或基准优越。
作者对局限同样坦白:工具依赖第三方库,结果受这些实现和软件环境影响;小数据集上组合大量基础指标容易过拟合,建议在指定开发数据上拟合参数,再用交叉验证或独立测试集评估;当前流程不自动实现训练/测试划分与跨数据集验证,协议设计仍由研究者负责;冻结版本没有公开插件 API,替换新的指标后端或优化器仍需改代码,只是模块化接口把改动范围限制住了。
对使用者来说,combHIQA 的价值在于可追溯:一张图能从源 MOS 行一路追到校验路径表、中间指标表,直到最终 JSON 记录;一个指标也能从准备期定义,经方向校正和选择历史,追到任何优化后的混合参数。学生用一个很小的 JSON 配置就能准备数据集,并直观看到“分数方向”与“指标方向”的区别。