企业官网建设流程全解析

1. 这个项目到底解决了什么问题

第一次看到“ACNet代码解读”这个标题时，我其实有点警惕。因为开源的网络结构代码太多了，大部分都是换了个激活函数、调了调block顺序，没什么实质内容。但ACNet这个项目确实不一样，它在不增加任何推理计算量的前提下，把精度往上抬了一截。这个思路值得认真拆一遍代码。

先说清楚ACNet是干什么的。ACNet的全称是Asymmetric Convolution Network，核心做法是在训练阶段给标准方形卷积（比如3x3）旁边并联两个非对称卷积分支（1x3和3x1），三个分支的输出直接相加，作为网络的最终输出。训练完成之后，通过一个非常简单的参数融合操作，把两条非对称分支的权重合并进主分支的3x3卷积核里。部署的时候还是只有一条3x3卷积，推理速度、显存占用、FLOPs和普通网络完全一致。

换句话说，它把“训练时的extra结构”和“推理时的标准结构”做了优雅的解耦。精度提升来自训练阶段的增强，推理阶段的成本和原始网络一模一样。类似的操作在RepVGG（重参数化卷积网络）里被进一步发扬光大，但ACNet是较早把这种思路做成一套完整方案的工作之一。

这个项目对哪类人最有价值？首先是做模型部署的工程师，因为精度和速度的矛盾是日常最头疼的问题，ACNet提供一个“白嫖”精度的思路；其次是研究卷积网络结构的同学，代码里关于BN融合、多分支合并的写法非常值得借鉴。当然，如果你只是想在自己的模型上提几个点精度，它的改动成本也很低，不需要重新设计网络主干，直接替换现有卷积层即可。

2. 核心思路拆解：为什么非对称卷积能提升精度

2.1 非对称卷积增强的核心机制

先解决一个最直接的疑问：1x3和3x1这种条形卷积，为什么能提升方形卷积的效果？

想象一下，一个3x3的卷积核，它同时负责捕捉水平方向、垂直方向和对角方向的特征。训练过程中，梯度要分配到9个位置上，每个位置能分到的“学习容量”其实是有限的。而1x3的卷积核只有3个参数，专注提取水平纹理；3x1的卷积核只有3个参数，专注提取垂直纹理。它们把方形卷积里容易被“平均分配”掉的横向和纵向响应，用独立的参数空间专门强化了一遍。

ACNet原文里有个比较直观的实验结论：非对称分支对骨架、轮廓等形状特征的响应更强，对纹理特征的响应也比较敏感。训练时两个分支和主分支并行，梯度同时更新三组参数，模型实际上是在用更大的参数空间去拟合同一个任务。等到训练收敛，再把两个分支的权重“压缩”回主分支，等价于让主分支获得了一条额外路径学到的知识。

要注意的是，ACNet并不是第一个用非对称卷积的工作。早期的Inception v3和ResNeXt里都出现过把大卷积核拆成非对称组合的做法，但那些方案通常在推理时也保留分解后的结构。ACNet的关键差异在于“训练时增强、推理时无损融合”，把它变成了一个纯粹的训练策略。这也是它代码实现里最有意思的部分。

2.2 为什么能做到推理零开销

这里需要从计算图的角度来理解。训练阶段，网络的实际结构是三条并行的卷积分支，BMM（批矩阵乘法）的计算量是原来的三倍。但训练时我们不在乎这个，GPU算力本来就是用来“耗”的。真正关键的是部署阶段：通过线性代数里的加法分配率，两个非对称卷积核可以逐元素加到主卷积核上，融合后的网络从结构上就退化成了单分支3x3卷积。

用一个简单的式子表示：

如果原始输出是 y = Conv3x3(x) + Conv1x3(x) + Conv3x1(x)，因为卷积本质上是线性操作，可以改写成 y = Conv3x3'(x)，其中新卷积核 W' = W3x3 + pad(W1x3) + pad(W3x1)。这里的pad指把1x3或3x1的卷积核补齐到3x3大小，补的位置是固定的。

融合后的新网络是一个纯正的、没有任何多余分支的单路径网络。部署时不需要特殊运行时支持，不需要自定义算子，不需要改推理引擎，ONNX导出、TensorRT优化、量化裁剪全部照常工作。这是它工程价值最大的地方，也是我后来向别人推荐这个项目时强调的第一句话：这不是一个结构创新，这是一个训练策略创新。

3. 代码整体结构与关键模块解读

3.1 仓库结构总览与代码路径

拿到官方代码仓库后，建议按“数据加载 -> 网络定义 -> 训练脚本 -> 融合脚本 -> 测试脚本”这条链去读。官方实现以PyTorch为例，目录本身不大，但有个很容易忽略的点是融合脚本和训练脚本分离。

典型的仓库文件结构大概是：

├── dataset │ ├── cifar.py │ └── imagenet.py ├── networks │ ├── acnet.py │ └── acb.py ├── utils │ ├── train.py │ └── transform.py ├── train.py ├── test.py └── convert.py

其中最关键的文件是networks/acb.py，它定义了ACBlock这个核心模块；convert.py负责从训练权重里提取并融合出部署用权重。建议第一次读的时候按这个顺序来：先看ACBlock，再看训练脚本，最后攻克融合脚本。别上来就去看数据加载，容易绕晕。

3.2 ACBlock类的代码解读

ACBlock是整个项目的心脏。它的实现并不复杂，核心就是利用PyTorch的nn.Conv2d定义三个卷积层，并在forward里把三个输出加在一起。

代码骨架如下，我会逐行解释关键细节：

import torch.nn as nn class ACBlock(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1, dilation=1, groups=1, padding_mode='zeros', deploy=False): super().__init__() self.deploy = deploy if deploy: # 部署阶段：只有一条融合后的3x3卷积 self.fused_conv = nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=(kernel_size, kernel_size), stride=stride, padding=padding, dilation=dilation, groups=groups, bias=True, padding_mode=padding_mode) else: # 训练阶段：三条分支 self.square_conv = nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=(kernel_size, kernel_size), stride=stride, padding=padding, dilation=dilation, groups=groups, bias=False, padding_mode=padding_mode) self.ver_conv = nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=(kernel_size, 1), stride=stride, padding=(padding, 0), dilation=dilation, groups=groups, bias=False, padding_mode=padding_mode) self.hor_conv = nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=(1, kernel_size), stride=stride, padding=(0, padding), dilation=dilation, groups=groups, bias=False, padding_mode=padding_mode)

这里有几处值得特别注意：

第一，训练模式下三个卷积全部设置bias=False。这是刻意的，因为偏置会在融合阶段额外处理，如果三个分支各自带偏置，融合时会多出三个偏置相加的操作，容易出错。后面我会在融合代码里详细讲。

第二，非对称卷积的padding设置很容易写错。垂直卷积ver_conv的核大小是(kernel_size, 1)，对应输入张量的H和W两个维度。padding必须相应设置为(padding, 0)，也就是只在高度方向补零，宽度方向不补。水平卷积hor_conv则相反，padding为(0, padding)。这一点错了，输出的特征图尺寸就对不上，三个分支相加时直接报错。

第三，groups参数保持一致。如果要支持深度可分离卷积，三个分支的groups都必须等于输入通道数，不能只给一个分支设置。这个参数容易被忽略，等模型跑起来精度异常了才发现是这里的问题。

再看forward方法：

def forward(self, input): if self.deploy: return self.fused_conv(input) square_out = self.square_conv(input) ver_out = self.ver_conv(input) hor_out = self.hor_conv(input) return square_out + ver_out + hor_out

部署模式下直接走fused_conv单一路径；训练模式下三路输出直接相加。注意这里用的是+运算符而不是torch.add，原理一样，但代码可读性更好。还有一个细节：三个分支的输出相加之后，不再额外接激活函数，激活函数由网络主干里的后续模块处理。ACNet论文里推荐的激活函数是ReLU，因为后续的归一化层（BN层）和ReLU本身都是逐元素操作，不影响融合的线性性质。

3.3 网络主干里的调用方式

ACNet并没有设计一套全新的backbone，而是提供了一个替换策略：把ResNet等经典结构里的3x3卷积替换成ACBlock。官方仓库里给出了ResNet的改造版本，核心思路是只替换残差块中的3x3卷积，1x1卷积保持原样。

class ResBlock(nn.Module): def __init__(self, in_channels, out_channels, stride=1): super().__init__() self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride) self.bn1 = nn.BatchNorm2d(out_channels) self.acb = ACBlock(out_channels, out_channels, kernel_size=3, stride=1, padding=1) self.bn2 = nn.BatchNorm2d(out_channels) # 残差连接的卷积等等

这样的好处很明显：往上套的时候不用改动网络的宏观结构，只需要把nn.Conv2d(3x3)换成ACBlock，后面再接原来的BN和激活函数就行。模型参数量在训练时会变大，但推理参数数量不变，因为融合后三条分支参数合到了一条里。

4. 训练与推理的完整流程：从参数初始化到无损融合

4.1 训练阶段的特殊初始化技巧

ACNet训练阶段的初始化方法值得单独说。普通卷积网络常用Kaiming初始化，但ACNet对三条分支使用了不同的初始化策略，这直接影响到最终融合后的精度。

官方代码里的初始化方法是：

def init_weights(self): for m in self.modules(): if isinstance(m, nn.Conv2d): nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')

表面上看，就是常规的Kaiming初始化。但关键操作在于：初始化完成后，把非对称分支的权重乘以一个很小的常数（通常是0.1倍），再给方形卷积分支乘以一个稍大的值。这一步的目的是让训练初期主分支占据主导地位，非对称分支只提供“细粒度”的辅助监督。

为什么不直接让三条分支等权重初始化？我个人的理解是：如果三条分支一开始就等权重，模型的初始响应会被三个方向的特征同时影响，训练早期容易震荡。而让主分支主导，非对称分支相当于一个“温和的修正项”，训练过程更稳定，最终收敛点的精度也更好。

这里有个实际操作经验：在CIFAR-10这种小数据集上，初始化权重比例的影响没有ImageNet那么大，但也不建议省略。我在一次实验里试过把非对称分支的初始权重调成和主分支一样，最终精度掉了大概0.2到0.3个百分点。这个提升幅度虽然不算巨大，但放在推理成本零增加的背景下，就很划算了。

4.2 BN层的位置与融合必要性

ACNet原论文以及大多数复现工程里，BN层都是放在ACBlock输出之后、激活函数之前的。这一点看代码会更清楚：

self.acb = ACBlock(in_channels, out_channels, 3, padding=1) self.bn = nn.BatchNorm2d(out_channels) self.relu = nn.ReLU(inplace=True)

训练时，三条分支的输出相加后进入BN，BN对融合后的分布做归一化。推理时，我们不能保留这个BN，因为一旦把三条分支融合成一条卷积之后，原本作用于“三者之和”上的BN统计量就失去了意义，必须先把BN的参数融合进卷积层，再把三条分支合并。这就涉及到了参数融合的核心数学推导。

4.3 BN参数融合的数学推导

BN在推理时的计算公式是：

y = (x - mu) / sqrt(var + eps) * gamma + beta

其中mu和var是训练阶段统计得到的全局均值和方法，gamma和beta是可学习缩放和平移参数。由于卷积是线性操作，可以把BN的缩放和平移合并进卷积核的权重和偏置。

对于单个卷积层，假设原始卷积权重为W（shape为[out_channels, in_channels, kh, kw]），偏置为b，BN层的参数为gamma, beta, mu, var，融合后的新权重和新偏置为：

W_fused = W * gamma / sqrt(var + eps) # 按输出通道逐通道缩放 b_fused = (b - mu) * gamma / sqrt(var + eps) + beta

这是一个标准的卷积+BN融合过程，在YOLOv5等项目的部署流程里也经常出现。ACNet的特殊之处在于，它需要对三条分支分别做卷积+BN融合，然后再把三个融合后的权重和偏置合并到一起。融合的总体顺序是：先各自融合BN，再做跨分支合并。

4.4 ACNet权重融合的代码实现细节

ACNet融合脚本convert.py里的核心函数是fuse_bn_to_conv和pad_and_merge。我建议按下面这个顺序去理解：

def fuse_bn_to_conv(conv, bn): # 1. 提取BN的四个参数 gamma = bn.weight.data beta = bn.bias.data mu = bn.running_mean.data var = bn.running_var.data eps = bn.eps # 2. 计算逐通道缩放因子 scale = gamma / torch.sqrt(var + eps) # 3. 新权重：原始权重乘以缩放因子 fused_weight = conv.weight.data * scale.view(-1, 1, 1, 1) # 4. 新偏置：如果原卷积有bias就直接用，没有就置零后再加 if conv.bias is not None: fused_bias = conv.bias.data else: fused_bias = torch.zeros_like(mu) fused_bias = (fused_bias - mu) * scale + beta return fused_weight, fused_bias

这段代码最关键的是对齐维度。scale的形状是[out_channels]，要和卷积权重[out_channels, in_channels, kh, kw]逐通道相乘，必须用view(-1, 1, 1, 1)扩展成四维，否则广播机制会把它错配成按空间位置缩放。

然后是跨分支合并的pad_and_merge函数：

def pad_and_merge(square_weight, square_bias, ver_weight, ver_bias, hor_weight, hor_bias): # square_conv是3x3 # ver_conv是3x1 -> 补齐到3x3，具体是中间那一列 # hor_conv是1x3 -> 补齐到3x3，具体是中间那一行 fused_weight = square_weight.clone() fused_bias = square_bias.clone() # 垂直卷积核 (out_ch, in_ch, 3, 1) -> 放到 (out_ch, in_ch, :, 1) fused_weight[:, :, :, 1] += ver_weight[:, :, :, 0] # 水平卷积核 (out_ch, in_ch, 1, 3) -> 放到 (out_ch, in_ch, 1, :) fused_weight[:, :, 1, :] += hor_weight[:, :, 0, :] fused_bias += ver_bias + hor_bias return fused_weight, fused_bias

这段代码我每次看都觉得很巧妙。垂直卷积在宽度方向上只有一个位置，融合时需要对号入座填到3x3核的中间列，也就是索引1的位置；水平卷积填到中间行。如果kernel_size不是3，这个索引逻辑需要相应调整，但官方代码里的默认值就是3，绝大多数使用场景也都是3x3卷积，理解这个约定就够用了。

融合完成之后，把新权重和新偏置写进一个全新的nn.Conv2d模块里：

fused_conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=padding, bias=True) fused_conv.weight.data = fused_weight fused_conv.bias.data = fused_bias

注意，融合后的卷积bias必须为True。因为原始三条分支的卷积都设置了bias=False，偏置只存在于BN层里，融合后这个偏置必须显式写到卷积的bias里，否则推理输出的每个通道都会整体少一个常数偏移，精度指标会直接崩掉。

5. 实操过程：从训练到部署的完整链路

5.1 训练阶段的关键配置

根据官方仓库的默认配置和我在自己设备上的实验经验，ACNet的训练流程和普通网络没有太大区别，主要改动集中在网络构造和参数初始化上。以下是一份基于CIFAR-10的简化训练配置参考：

用这个配置训练，融合后的精度和原始ACNet论文报告的基本一致。在CIFAR-10上，融合后的ResNet-20 ACNet通常能达到92%左右的准确率，比同结构普通ResNet-20高0.5到1个百分点。这个幅度在CIFAR-10上不算大，但换成ImageNet或目标检测任务，差距会更明显。

5.2 训练脚本里的模型导出步骤

值得留意的是，官方训练脚本并不自动执行融合操作，而是把融合作为独立步骤放在训练结束之后。原因很简单：训练过程中如果模型处于融合状态，反向传播就无法更新三条分支各自的参数了。融合只能在推理前做。

一个常见的实现套路是，在训练脚本的最后保存两类权重：

torch.save(model.state_dict(), "acnet_train.pt") # 保存训练权重，含三条分支

之后运行convert.py，加载训练权重，对每个ACBlock执行融合，输出部署权重：

def convert_model(model): for module in model.modules(): if isinstance(module, ACBlock) and not module.deploy: # 取出三条分支 square_conv = module.square_conv ver_conv = module.ver_conv hor_conv = module.hor_conv # 假设各自后面都有对应的BN，可以先通过名字查找 # 具体实现依赖你的外部封装方式 ... return model

注意，convert.py和训练脚本之间最好通过配置文件约定网络结构，避免硬编码。我见过不少同学在转换时因为模型定义不一致，导致权重形状对不上，踩坑之后才明白保持结构一致性的重要性。

5.3 验证融合前后精度一致性

融合完成的模型，精度应该和原始三分支模型基本一致，误差通常小于0.01%。如果发现融合后精度明显下降，优先检查三件事：

第一，BN层是否处于eval模式。训练和推理的BN行为不同，推理时用的是running_mean和running_var，训练时用的是当前batch的统计量。如果在融合前没有调用model.eval()，running_mean和running_var可能不是最终稳定值，融合后的权重自然不准。

第二，融合索引是否正确。垂直卷积和水平卷积在3x3核里的填充位置，必须严格对应padding的配置。如果padding不对称，融合公式需要重新推导。

第三，是否忽略了偏置。上文提过，三条分支在训练时bias=False，但BN里有平移参数，融合时如果不把BN的beta相加写进新卷积的bias，整体输出会在每个通道上偏移，精度大概率掉到零附近（如果是回归任务甚至可能出现NaN）。

# 验证融合精度的参考代码 model_train = build_model(deploy=False) model_deploy = build_model(deploy=True) model_train.load_state_dict(torch.load("acnet_train.pt")) convert_model(model_train, model_deploy) # 把融合结果写入model_deploy # 用同一批数据对比输出 model_train.eval() model_deploy.eval() with torch.no_grad(): out_train = model_train(x) out_deploy = model_deploy(x) print((out_train - out_deploy).abs().max().item())

如果最大绝对误差在1e-4量级，说明融合正确，可以放心导出。

5.4 模型部署的后续操作

融合后的模型，无论从结构上还是参数上，都是一个标准的单分支卷积网络。后续的量化、剪枝、TensorRT加速全部可以直接复用常规链路。

以ONNX导出为例，model_deploy本身不包含任何自定义算子，torch.onnx.export可以直接成功。导出后可以顺手检查一下ONNX算子列表，你会发现里面只有常规的Conv、BatchNormalization（如果还有残留）、Relu，没有任何多余的分支节点。

量化场景下ACNet的优势更加明显。因为融合后的卷积不需要处理多分支相加的逻辑，量化误差分析更简单，PTQ（训练后量化）的精度损失通常比原始多分支模型更小。如果需要QAT（量化感知训练），直接在融合后的模型上做即可，不需要额外的改造成本。

6. 常见问题与避坑指南

6.1 训练时BN行为不一致

训练ACNet时，有人喜欢把BN换成GroupNorm或LayerNorm。从理论上说这并不会破坏训练流程，但融合公式会变化。BN的融合依赖四个参数（gamma, beta, mean, var），换成GroupNorm后这些统计量的定义完全不同，融合公式需要重新推导，不能直接用现成的convert.py。

我的建议是：如果只是想把ACNet的思路快速用在模型上，尽量保留BN结构。除非你的模型原本就只用GroupNorm（比如某些轻量级网络），否则没必要为了“看起来更先进”而去替换它，自己推导融合公式是花时间的。

6.2 融合后模型输出不一致的排查

遇到融合后精度对不上时，按以下顺序排查：

1. 先用同一输入比较融合前和融合后的逐层输出，定位是哪个block出了问题。
2. 检查该block的BN是否处于eval模式。
3. 手动计算一遍融合公式，核对view和permute的维度是否正确。
4. 打印融合后的权重分布，看是否有异常值（比如NaN或全零）。

最常见的问题出在BN参数取值。有人会用bn.num_batches_tracked来判断BN是否更新过，但这只是辅助信息，真正决定融合精度的是running_mean和running_var的收敛状态。训练epoch数太少时，这两个统计量可能还在漂移，融合后的精度会有波动。如果发现这个问题，要么加长训练轮数，要么在训练后半段冻结BN的统计量更新，让running_mean稳定下来再进行导出。

6.3 模型并行训练时的权重同步问题

如果是用DataParallel或DistributedDataParallel训练ACNet，融合脚本需要特别注意。训练时模型内部保存的是未融合的权重，同步逻辑作用于三条分支各自的参数上，这是正常的。但融合脚本必须保证所有进程加载到的是同一份权重，同步导出。如果在每个进程上独立导出，导出的权重理论上是一样的，但实际跑起来可能因为BN统计量的同步延迟，略有差异。稳妥做法是在主进程上完成融合，再把融合后的模型广播出去。

6.4 非3x3卷积的ACBlock变体

有些任务里，主分支卷积不是3x3，而是5x5或7x7。ACNet的代码虽然默认3x3，但理论上任意奇数尺寸的方形卷积都可以套用。

非对称分支的选择逻辑是：对于k x k的卷积，垂直分支用k x 1，水平分支用1 x k。融合时垂直分支放在第(k-1)/2列，水平分支放在第(k-1)/2行。如果用的是偶数尺寸卷积，情况会更复杂，因为没有一个“中间行”或“中间列”，融合公式需要扩展到多个位置相加。说实话，偶数尺寸的ACBlock我没在实际项目里验证过，如果不是特别必要，建议直接用奇数尺寸。

6.5 对长宽非对称输入的适配

ACNet的另一个适用场景是输入长宽不一致的任务，比如文本检测里的细长目标。在这种场景下，非对称分支的收益往往比通用场景更明显，因为水平方向和垂直方向的感受野差异本身比较大，额外的分支可以让网络更灵活地平衡两个方向的响应。

不过这里有个小坑：如果输入图像的宽和高不一致，padding计算必须严格按(padding_h, padding_w)分开设置。ACNet的默认实现里padding是一个tuple？

回到代码里，nn.Conv2d的padding参数接受int或tuple。ACNet代码里的写法是padding=(padding, 0)和padding=(0, padding)，这就已经区分了H和W两个维度。但如果在外部封装时为了省事传了一个int，比如padding=1，会导致两个方向都补零，非对称卷积的输出尺寸就不对，相加时报错。这个细节在实际改造中我见过至少三次，值得记在小本本上。

6.6 与其他重参数化方法的区别

现在提到重参数化，大家更熟悉RepVGG。两者对比下来，区别还是挺明显的：

如果是在现有ResNet结构上做增强，ACNet的侵入性更小，改动局限在卷积层替换；如果是从零设计一个高效的推理网络，RepVGG的结构更彻底。两者可以结合使用，但没必要在一个项目里同时上，融合逻辑会成倍复杂化。

7. 实验效果与投入产出比分析

7.1 在分类任务上的收益

官方论文在ImageNet上做了充分的消融实验。简单汇总数据：基于ResNet-50结构，加入ACNet分支后，融合模型的Top-1准确率比原始ResNet-50高出约1个百分点，推理速度和原始ResNet-50完全一致。这个提升在ImageNet这种大规模、高难度的数据集上是实打实的。

CIFAR-10上的收益没那么夸张，但胜在实验成本低，适合快速验证思路。我建议第一次接触ACNet的人先用CIFAR-10把整个流程跑通，从训练到融合导出，再到精度验证，一套流程下来基本能掌握全部要点。然后迁移到ImageNet或目标检测任务时，只需要改数据加载和网络配置。

7.2 在目标检测任务上的表现

ACNet的另一个显著收益场景是目标检测。检测网络通常以分类网络做backbone，替换成ACNet后，backbone的推理成本不变，但特征表达更强，小目标检测和密集场景的精度会有可见提升。

轻量级检测模型（比如一些移动端检测网络）里使用ACNet的效果尤其明显。原因是轻量模型本身参数少，单条卷积的感受野表达能力有限，训练阶段附加的非对称分支等于用额外的监督信号帮主干卷积“见多识广”，最后融合回去，参数数量不变，特征质量却上来了。

7.3 训练时间成本与硬件需求

说到成本，ACNet训练时三分支的计算开销不能忽视。理论上训练FLOPs大概是原来的三倍，实际训练时间大约增加1.5到2倍（因为有并行、缓存、算子融合等影响因素）。如果原本训练一个模型要两天，用ACNet后可能要三天半。这个成本在工业界是否值得，取决于精度提升的收益是否超过训练时间的增量。

如果资源紧张，可以考虑一个折中方案：只在网络的后半段替换ACBlock，前半段保持普通卷积。这样做既能获得部分收益，又能控制训练成本。我试过一个ResNet-56风格的网络，只替换最后三个block的3x3卷积，精度提升大约是全部替换时的六到七成，训练时间只增加了不到一半。

8. 最后分享一点实战体会

这段时间拆ACNet代码，最大的收获不是学会了怎么写一个ACBlock，而是理解了“训练与推理解耦”这个思路的工程价值。很多结构改进一上来就想着怎么优化推理计算图，ACNet反其道而行，允许训练阶段“铺张浪费”，然后在部署前把一切收敛回标准结构。这种方式给部署带来的确定性，比那些需要特殊运行时支持的方案强太多了。

在实际工程里，我通常会建议团队把ACNet作为一个常备的“精度增强选项”。当某个模型在某次迭代中精度差零点几个百分点、但上线时间又很紧的时候，把几个关键卷积层替换成ACBlock重训一轮，往往是投入产出比最划算的解法之一，不需要改动任何推理基础设施。如果你正在做模型压缩、量化或者移动端部署，不妨花一个下午把融合脚本彻底搞明白，这套技能之后在接触其他重参数化结构时一样用得上。