企业官网建设流程全解析

做域泛化（Domain Generalization, DG）研究的人，大概率都经历过这种绝望：论文里报告的精度高得吓人，代码开源得也很痛快，但你拿过来一跑，结果差出一大截。一开始你会怀疑自己的环境有问题，反复排查之后才意识到，问题出在评测方式上——数据划分不同、预训练模型不同、超参数搜索范围不同，甚至有人偷偷用目标域调参。这样的研究生态，导致大量 DG 论文的结论根本无法复现，所谓"新算法优于旧算法"很多只是一场自说自话。DomainBed 就是冲着这个乱象来的。它把数据集、训练协议、超参数选择策略、算法接口全部标准化，让所有 DG 算法在同一套规则下公平比拼。想入坑域泛化、分布外泛化或者鲁棒机器学习的研究人员和工程师，这套工具几乎是绕不开的起点。

我最早接触 DomainBed 是在复现某篇 DG 论文失败之后，当时花了两周时间把作者的代码从数据加载到训练循环全部读了一遍，最后发现他在 PACS 上做超参数选择时用了一部分目标域数据做验证。这个操作直接让结果虚高了十几个点。后来我把实验迁移到 DomainBed 上重新跑，发现所谓"碾压 ERM"的新算法，其实和 ERM（经验风险最小化）打平手。这个经历让我彻底明白：不是算法不够聪明，而是评测太混乱。所以这篇文章我想从 DomainBed 的设计思路讲起，把 ColoredMNIST、RotatedMNIST、PACS、OfficeHome、DomainNet 这些常用基准数据集逐个拆开，再结合我自己跑实验时踩过的坑，给出一份能直接上手的实操指南。

1. 为什么域泛化研究需要一个"标准考场"——DomainBed 的诞生背景

1.1 复现不了的算法与各说各话的榜单

2020 年前后的域泛化论文，几乎每篇都要在 PACS、VLCS、OfficeHome 上刷一遍精度。表面看大家都在用同样的数据集，实际上每个课题组的处理方式千差万别。最典型的问题有三个。第一，数据划分方式不统一。有的论文按类别比例随机划分训练测试集，有的按图像风格划分域，还有的把同一个域里的图像随机打散塞进训练集和测试集——后者其实已经不属于域泛化，而是在做普通图像分类。第二，超参数选择策略混乱。有些方法在目标域上做 early stopping，有些用目标域做模型选择，这相当于开卷考试，分数自然高。第三，数据增强、预训练权重、优化器配置各写各的，没有统一基线，导致所谓的"提升"可能只是来自更大的 batch size 或者更长的训练步数。

当时整个领域缺少一个像 ImageNet 之于图像分类那样的公共基准。ImageNet 的成功经验告诉我们，一个统一的评测平台能极大加速领域发展，因为它省去了每个人重复造评测流程的功夫，让大家把精力集中在算法本身。DomainBed 想做并且做到了的，正是这件事。

1.2 DomainBed 到底做了什么：统一协议、统一划分、统一接口

DomainBed 是一个基于 PyTorch 的开源框架，核心目标是把域泛化实验的每一个环节都标准化。它把数据集封装成统一的 PyTorch Dataset 类，每个数据集都按照"域"来划分训练集和测试集，而不是随机划分。所有算法都实现成统一的 Algorithm 接口，训练脚本、评测脚本、日志记录、结果聚合全部复用同一套代码。

从架构上看，DomainBed 的核心组件包括几个部分：数据加载层负责下载或生成数据集，并缓存到本地；算法层定义了 ERM、IRM、DRO、CORAL、MMD、Mixup 等一批常用的 DG 算法；训练脚本负责跑一个完整的训练-验证-测试流程；还有一套结果记录模块，把每个 trial 的精度、损失、超参数配置写入 CSV 文件。用户只需要通过命令行参数指定 --dataset、--algorithm、--test_env，剩下的流程全部由框架完成。

这套设计最大的好处是：当你要比较两个算法时，它们面对的是完全相同的数据划分、完全相同的预训练权重、完全相同的超参数搜索空间。任何性能差异只能来自算法本身。它背后的方法论论文 ICLR 2021 那篇In Search of Lost Domain Generalization我建议所有做 DG 的人都读一遍，里面有很多反直觉的发现。

1.3 一个容易被忽视的结论：ERM 并不弱

DomainBed 跑出来的第一个重磅结论，就是很多"先进"算法其实打不过 ERM。论文在七个数据集上系统比较了十几个算法，发现当超参数选择策略严格限定为 training-domain validation set 时，ERM 的平均排名非常高，甚至在部分数据集上超过了绝大多数专门设计的 DG 算法。这个结论当时在圈子里引起了很大震动。

注意，这并不意味着域泛化研究没有意义。它真正说明的是：先前大量论文报告的"显著提升"，很大一部分来自不公平的比较。比如某个算法用了目标域做模型选择，自然会比用源域验证集选择模型的 ERM 高很多。ERM 本身具备不错的跨域鲁棒性，尤其在使用 ImageNet 预训练模型时，很多 DG 算法的增益会被预训练特征本身抹平。DomainBed 把这个事实摆到台面上之后，DG 领域的论文质量整体提升了一个档次，后来大家再做对比实验，基本都在 DomainBed 协议下进行。

2. 七个基准数据集逐个拆解：从合成玩具到真实场景

2.1 ColoredMNIST 与 RotatedMNIST：可控的虚假相关性实验室

DomainBed 一共有七个基准数据集，按照从合成到真实的难度可以排成一个序列。最轻量的是 ColoredMNIST 和 RotatedMNIST，它们都由 MNIST 改造而来，单张图像只有 28x28 像素，训练速度极快，特别适合快速验证想法。

ColoredMNIST 的构造非常有讲究。它把 MNIST 里的数字按大小分成两组——数字 0 到 4 作为一类，5 到 9 作为另一类，构造一个二分类任务。然后给图像着色，让颜色和标签之间形成虚假相关性：在训练环境里，80% 或 90% 的红图对应第一类，蓝图对应第二类；测试环境里这个相关性完全反转，只有 10% 的红图对应第一类。也就是说，如果模型学会了"红色就选第一类"这条捷径，训练精度会很高，但测试时会被彻底打爆。真正跨域不变的信号只有一个：数字本身的形状。

RotatedMNIST 的思路更直观一些。它把 MNIST 图像旋转不同角度，每个角度构成一个域，比如 0 度、15 度、30 度、45 度、60 度、75 度。模型在部分角度上训练，在未参与训练的角度上测试，考验的是对旋转这种几何变化的不变表征能力。这两个数据集都属于"可控实验室"，因为它们能精确创造某种分布偏移，方便研究者在受控条件下验证算法是否真的学到了不变特征，还是仅仅在拟合表面相关性。

2.2 VLCS、PACS、OfficeHome：跨风格泛化

再往上一层是三个真实图像数据集：VLCS、PACS、OfficeHome。

VLCS 来自四个著名的视觉数据集拼接，分别是 VOC2007、LabelMe、Caltech101 和 SUN09，总共包含 5 个类别。它把"数据集来源"当作域，同一类物体在不同数据集中呈现完全不同的拍摄风格、背景和构图。VOC2007 和 Caltech101 里的"椅子"长得差别很大，模型需要忽略这些风格差异，抓住真正的类别特征。

PACS 是风格差异最大的一个数据集，只有 4 个域：Photo（照片）、Art Painting（艺术画）、Cartoon（卡通）、Sketch（线稿），7 个类别。艺术画里的"马"可能带着浓厚的油画纹理，卡通里的"马"造型夸张，线稿里的"马"只剩几条轮廓线。从 Photo 训练出来的模型直接测试到 Sketch 上，难度非常高，所以 PACS 是 DG 论文里最常出现的数据集之一，很多算法的改进在 PACS 上都容易看到明显差异。

OfficeHome 则更贴近实际办公场景，有 4 个域——Art、Clipart、Product、RealWorld，共 65 类，图像量约 1.5 万张。它的类别划分非常细，包括各种办公用品、电子设备，对细粒度识别能力要求更高。相比 PACS 的简单分类，OfficeHome 更考察模型在特征层次上的泛化，这往往比粗粒度分类更能反映算法的真实水平。

2.3 TerraIncognita 与 DomainNet：真实场景的残酷考验

如果前面的数据集还带着一定的"实验室感"，TerraIncognita 和 DomainNet 就是彻头彻尾的真实世界考验。

TerraIncognita 来自野外相机陷阱拍摄的动物图像，按拍摄地点划分成 4 个域，共 10 类动物。这套数据集的难点在于环境千差万别，有的是热带丛林，有的是草原，光照、遮挡、动物姿态都极不规律，而且类别在实际图像中的比例很不均衡。模型很容易"偷懒"，通过学习背景植被颜色来分类，而不是真正识别动物本身。

DomainNet 是 DomainBed 里规模最大、难度最高的数据集，也是我花时间最多的地方。它包含 6 个域：clipart、infograph、painting、quickdraw、real、sketch，共 345 类，图像总量大约 59 万张。这里的类别人数巨大，很多类别在不同域中的视觉表现差别已经不只是"风格"，而是"语义鸿沟"。最典型的是 quickdraw，它是用户用简笔画工具画的涂鸦，跟真实照片在纹理、色彩、形状上都几乎没有任何共同特征。infograph 也很有挑战性，它是包含文字和复杂图形的信息图，识别难度远高于普通照片。因为类别太多、图像质量参差，很多论文会选择使用其中 126 个类别子集，也就是常说的 DomainNet126，来降低训练开销和类别不平衡带来的干扰。

2.4 各数据集规模与难度的横向对比

我整理了一个表，方便大家根据实验需求选择合适的数据集。

选择数据集的策略其实很直接。起步阶段或者调试算法时用 ColoredMNIST，几分钟就能跑完一个 trial，方便快速定位问题。验证算法有没有基本效果用 PACS，因为风格差异大、训练样本少，算法差距很容易体现。准备写论文、做最终对比实验时，必须上 DomainNet，否则审稿人会质疑数据集多样性不够。

3. 评测协议才是灵魂：训练/验证/测试怎么划分，超参数怎么选

3.1 留一域评估：每轮留一个域做目标

DomainBed 评估协议的核心是"留一域评估"（leave-one-domain-out）。对每个数据集，依次把其中一个域作为测试目标域，其余所有域作为源域用于训练。这意味着每个数据集要跑 N 轮实验，N 等于域的个数。比如 PACS 有 4 个域，就要分别以 Photo、Art Painting、Cartoon、Sketch 作为 test_env 跑四轮，最终报告四个目标域精度的平均值。

这个协议和普通机器学习里的 train/test 随机划分有本质区别。普通划分把同一域内的图像随机分到训练集和测试集，两边数据分布高度一致，测出来的是"内分布"精度。而留一域评估要求测试域完全不参与训练，测的是"外分布"精度，这才是真正的域泛化能力。刚开始用 DomainBed 时容易犯的错，就是自己额外做数据划分，甚至把测试域样本混进训练集，导致结果虚高。直接用框架自带的划分脚本就对了。

3.2 超参数选择的纪律：绝不看目标域

评测协议里最关键、也最容易被忽略的环节是超参数选择策略。DomainBed 给出了三种策略，其中两种合规，一种违规。

第一种是 training-domain validation set，把源域的一部分样本单独抽出来做验证集，在验证集上选择超参数，然后用选定的超参数在训练集上重新训练，再在目标域上测试。第二种是 leave-one-domain-out cross-validation，在源域里再留一个域做验证集，轮流选超参数。第三种是 test-domain validation set，直接用目标域做验证集，这是严重的数据泄露，DomainBed 明确禁止。

为什么超参数选择策略这么重要？因为很多 DG 算法对超参数极度敏感，同一算法在好参数下能比坏参数高十多个点。如果允许用目标域调参，任何方法都能刷出漂亮的分数。DomainBed 把这一点固定下来之后，"在源域验证集上选超参数"就成了标准动作。我自己做过对比，某些算法在目标域调参时比 ERM 高 10 个百分点，换到源域验证集调参后反而比 ERM 低，差距就是这么来的。

3.3 训练细节：从优化器到数据增强的"公平基线"

DomainBed 对训练细节也有严格约定，目的是让所有算法处于同一基准线上。默认 backbone 是 ResNet-50，使用 ImageNet 预训练权重；输入图像统一缩放到 224x224，做随机裁剪和水平翻转增广；优化器可以选 SGD 或 Adam，learning rate 通过网格搜索确定；训练步数根据数据集规模设定，避免小数据集过拟合、大数据集欠拟合。

有一个细节需要特别强调：DomainBed 里每个算法都有自己预设的超参数搜索空间，但这些空间是在框架开发时统一敲定的，而不是某个算法专门调优过的。这保证了所有方法在搜索空间大小和搜索预算上基本公平。跑实验时也不要自己随意放大搜索空间，否则会让该算法在对比中占便宜，审稿人一眼就能看出来。

另一个值得注意的点是随机种子。DomainBed 默认每个配置跑多个随机种子取平均，因为 DG 实验的方差通常比较大，尤其在小数据集上，单次试验结果可能波动好几个点。至少跑三个种子再报告均值，如果资源允许，跑五个更好。

4. 动手实操：把 DomainBed 跑起来

4.1 环境准备与安装

DomainBed 的安装非常直接，前提是你有一个能跑 PyTorch 的环境。建议 Python 3.8 以上，PyTorch 1.7 以上，torchvision 需要匹配 PyTorch 版本。GPU 建议显存至少 8GB，因为 ResNet-50 在 224x224 输入下，batch size 64 时的显存占用大约 6-8GB，如果跑 DomainNet 这种大数据集，16GB 显存会更从容。

git clone https://github.com/facebookresearch/DomainBed.git cd DomainBed pip install -r requirements.txt

这里要提醒一句，requirements.txt 里的包比较基础，没装 pandas、numpy、tqdm 的话一并装上。如果网络环境特殊导致安装慢，用国内镜像源替换默认源，效率会高很多。

4.2 准备数据：ColoredMNIST 与 DomainNet 的下载与生成

DomainBed 对每个数据集的加载逻辑封装在domainbed/datasets.py里，调用时指定--dataset名称即可，框架会自动判断数据目录是否存在，不存在就尝试下载或生成。

我最常用的是 ColoredMNIST。它不需要预先下载任何外部数据，框架会在运行时从 MNIST 原始数据中动态生成带颜色的版本。MVIST 原始数据可以从 torchvision 自动下载，如果下载超时，可以手动下载到~/.torch/datasets/MNIST/目录。

DomainNet 的准备工作就比较费时了。整个数据集压缩包大约十几个 GB，解压后占用大量磁盘空间。官方下载地址在 datasets 的 README 里，需要把 6 个域的 tar 包全部下载并解压到同一个目录。下载慢是最常见的问题，建议使用带断点续传的下载工具。解压完成后，目录结构是每个域一个子文件夹，里面按 345 个类别分子目录。

运行训练命令时，需要把数据集的父目录通过环境变量或命令行参数传给脚本。我在第一次跑的时候忘了指定数据路径，框架直接去默认目录找，结果报了一堆 FileNotFoundError，检查了半天才发现是路径没配对。命令行里的--data_dir参数一定要看清楚。

4.3 训练一个 ERM 基线

以 ColoredMNIST 为例，跑一个 ERM 基线只需要一条命令：

python -m domainbed.scripts.train \ --dataset ColoredMNIST \ --algorithm ERM \ --test_env 2 \ --data_dir /path/to/data \ --output_dir /path/to/output \ --trial_seed 0 \ --steps 5000

这里--test_env 2表示把第三个环境（编号从 0 开始）作为测试域。ColoredMNIST 默认产生三个环境，前两个是训练环境，第三个是测试环境，如果不传--test_env，框架默认用最后一个环境。--steps 5000是训练步数，ColoredMNIST 是轻量数据集，5000 步足够，到尾部观察 loss 基本收敛。

训练过程中终端会打印每一轮的 loss 和准确率，训练结束后输出目录里会生成results.csv，记录该 trial 的最终测试精度和超参数配置。如果你跑多个--trial_seed，最终可以用官方提供的domainbed/scripts/collect_results.py汇总所有 trial 结果并计算平均值。

4.4 自定义数据集与算法的接入点

DomainBed 不只是一个跑现成实验的盒子，它还预留了清晰的扩展点。自定义数据集需要实现一个 PyTorch Dataset 类，在__getitem__里返回图像和标签，并在datasets.py里注册该数据集名称、域划分方式和输入通道数。之后就能用--dataset 自定义名称训练了。

自定义算法稍微复杂一些。每个算法都继承自Algorithm基类，核心要重写的方法有update和predict。update接收一个 batch 数据，返回损失并更新模型参数；predict接收图像张量，返回分类 logits。实现了之后再在algorithms.py里注册算法名称，即可与内置算法放一起对比。

DomainBed 这种插件式设计让复现新论文变得很方便。我拿到一篇新 DG 论文时，通常先把它的方法写成 DomainBed 里的一个 Algorithm 类，再跑对比实验，这样能最大程度避免因为训练细节不同带来的偏差。

5. 深入一点：ColoredMNIST 背后的构造逻辑与它验证了什么

5.1 颜色-标签相关性的数学构造

ColoredMNIST 看起来只是一个给 MNIST 上色的简单操作，但它背后的设计非常精密。原始 MNIST 是 10 分类，DomainBed 先把数字 0 到 4 映射为类别 0，数字 5 到 9 映射为类别 1，并分别打上代表正负性的标签。接着构造颜色偏置：对每个样本，以一定概率给它加上红色或蓝色的通道偏置。

具体来说，训练环境里颜色与标签的相关性是 80% 和 90%，测试环境里下降到 10%。当相关性是 80% 时，意味着属于类别 0 的样本有 80% 被染成红色系，20% 被染成蓝色系；类别 1 则相反。测试集相关性只有 10%，也就是"红的对应类别 0"这条规律被彻底逆转，模型如果学会了颜色捷径，在测试集上准确率会跌到接近随机水平。为了避免模型通过边缘噪声等其他线索兜底，图像上还叠加了随机高斯噪声，进一步排除非形状特征。

注意这里说的"相关性"不是控制颜色强度的百分百覆盖，而是概率相关的数据生成过程。这种设计保证了训练域和目标域之间只改变颜色和标签的相关性，而其他条件保持不变，因此任何性能差异都能归因到模型是否依赖于颜色捷径。

5.2 为什么好的 DG 算法必须"忽略颜色"

在 ColoredMNIST 上，一个标准的 ERM 模型训练时损失函数会非常快地下降，训练准确率能到 90% 以上。但如果测试域颜色相关性反转，测试准确率可能只有 30% 上下——比随机猜还差，因为它不仅没学到有用信号，还学会了错误信号。

好的 DG 算法需要在训练时就能识别出"颜色是不可靠特征"，并主动降低对它的依赖。IRM（不变风险最小化）这类算法的核心思想，是找到在多个训练环境上同时最优的特征表示。如果某个特征是虚假相关的，那么它在不同环境上的最优分类器就会不一致，IRM 会通过约束条件迫使模型放弃这种特征。在 ColoredMNIST 上，一个成功的算法在测试域上的准确率应该明显高于依赖颜色的 ERM。

从我实测的经验看，ColoredMNIST 对很多算法来说是一道"照妖镜"。有些算法在 PACS 上看起来效果不错，跑到 ColoredMNIST 上就露馅，说明它其实还在学捷径。这也是为什么论文里如果想证明算法学到了不变特征，通常都会放一张 ColoredMNIST 的结果。

5.3 从 ColoredMNIST 到真实世界的启示

有人可能会觉得 ColoredMNIST 太玩具，和真实场景差距太大。但我越来越认同它的价值：分布偏移的机制是高度可解释的，这让研究者能把"模型在做什么"看得一清二楚。真实场景里很多失败案例，本质就是模型依赖了某种虚假相关性。比如水下机器人识别鱼的时候，海水颜色偏蓝，模型可能把"蓝色"当成鱼的线索，换到不同水质的水域就失效。医疗影像中，不同医院的扫描设备在图像对比度、色调上有系统性差异，模型可能靠亮度风格分类而不是病灶特征，跨医院部署准确率骤降。因为真实数据里你很难精确控制"哪个特征是虚假的"，所以先用 ColoredMNIST 把机制验证清楚，再迁移到真实数据的推理，是性价比最高的研究路径。

6. 案例视角：在 DomainNet 上做对比实验的完整过程

6.1 选定目标域与基线

我在实际工作中常用 DomainNet 做最终对比，这里分享一个完整案例。假设我要评估两个域泛化算法和一个基线，在 6 个域中选一个作为目标域，同时要顾及训练成本和结果可解释性。选择sketch作为目标域是因为它风格鲜明，线稿特征和真实图像的差异很大，最能看出算法有没有真正学到跨域不变性。

训练命令如下：

python -m domainbed.scripts.train \ --dataset DomainNet \ --algorithm ERM \ --test_env 5 \ --data_dir /disk/data/domainnet \ --output_dir /disk/experiments/domainnet \ --trial_seed 0 --seed 0 \ --steps 5000 \ --batch_size 32

在 DomainNet 上训练比 ColoredMNIST 耗时得多，5000 步在单张 V100 上大约要跑大半天。如果机器资源紧张，可以先用 DomainNet126 子集跑通流程，再上全量数据集。

6.2 观察结果：哪些域最难

把 6 个域都作为目标域跑一遍之后，结果规律性很强：quickdraw 通常是最难的目标域，其次是 infograph 和 sketch。原因在于这三个域的视觉分布与 real 域差距最大，quickdraw 是涂鸦线条画，infograph 是带文本的信息图，模型在 real 和 clipart 上学到的特征很难迁移过去。相比之下，painting 和 clipart 稍稍好一些，因为它们虽然风格不同，但物体轮廓和形状信息保留得更加完整。

还有一个常见现象是 DomainNet 上的绝对精度并不高。即便是最强的方法，在 quickdraw 目标域上准确率也往往只有 40% 上下，能到 50% 以上就是相当不错的成绩了。这不代表模型没用，345 类的复杂度本身就是一场压力测试，类间相似性高、类别间样本数量极不平衡，都在拖累最终分数。

6.3 常见问题与坑

在 DomainNet 上跑实验比在 PACS 上容易踩坑，我列几个自己踩过的：

第一个坑是显存不足。DomainNet 类别多、图像尺寸大，batch size 32 在某些 11GB 卡上已经接近极限。遇到 Out of Memory 时不要急着换小模型，先尝试减小 batch size 并用梯度累积补偿。DomainBed 本身没有内置梯度累积，需要手动在训练循环里实现，或者直接调到 16 并降低总步数，也能得到一个可参考的对比结果。

第二个坑是下载的 DomainNet 数据没有正确组织目录结构。DomainBed 要求每个域一个目录，目录下按类别分子目录，类别目录里是图片。如果直接把所有图片平铺在一个文件夹里，加载时会报错。下载完解压之后务必先检查目录层级。

第三个坑是训练步数不一致导致的对比失真。DomainBed 默认按数据集设定训练步数，但如果你自己调整了--steps，一定要保证所有算法都用同样的步数跑。步数不同，收敛程度不同，精度差异可能被误读为算法能力差异。

第四个坑是大模型的随机波动。DomainNet 类别多，相同的训练配置在不同随机种子下的结果可能相差 2 到 3 个百分点。单一 trial 的结果根本不足以做判断，至少跑三个 seed 取平均。我在复现某算法时单 seed 结果比 ERM 高 4 个点，扩展到五个 seed 后差距缩小到 1 个点，最后发现那 1 个点也主要是因为随机种子选择带来的波动，多跑两组就没了。

我在实际使用 DomainBed 时最深的一点体会是：它强迫你尊重评估的公平性。早期我会忍不住在源域验证集上多调几次超参数，直到验证效果很好再测目标域，这种做法在普通实验流程里看起来没什么问题，但本质上已经引入了一定程度的过拟合。DomainBed 通过固定的搜索空间和固定的验证集切分，把这种自由度降到了最低。对于刚接触域泛化的研究者，我的建议是先用 ColoredMNIST 把框架跑通，再用 PACS 感受一下风格差异带来的影响，最后才碰 DomainNet——如果一上来就啃 DomainNet，光是下载数据和处理训练时间就够耗掉大半耐心。这套工具并不是完美的，它也有一些为了公平而牺牲灵活性的地方，但在域泛化评测这件事上，它是一个比"自己搭评测流程"可靠得多的选择。