企业官网建设流程全解析

01 基础信息

• 标题：Swin transformer for fast MRI。
• 作者：Jiahao Huang、Yingying Fang、Yinzhe Wu、Huanjun Wu、Zhifan Gao、Yang Li、Javier Del Ser、Jun Xia、Guang Yang。
• 期刊：Neurocomputing，493:281–304，2022。
• 关键词：MRI 重建，Swin Transformer，移位窗口，残差学习，多通道损失。
• 论文：DOI：10.1016/j.neucom.2022.04.051。
• 作者代码：ayanglab/SwinMR。
• 总结：SwinMR 利用交替的普通窗口与移位窗口注意力提取图像特征，并通过线圈灵敏度构造多通道监督损失。论文比较了重建保真指标、感知指标及下游脑肿瘤分割，展示不同目标之间的权衡。

前面的展开网络强调物理模型如何进入重建。这篇更关注特征提取器：如何扩大信息交互范围，同时避免整幅图像自注意力的高计算量？

02 背景

为什么考虑 Transformer？

卷积单层主要聚合局部邻域，多层、下采样与跳跃连接可以扩大感受野。自注意力则通过内容相关的权重组合特征，提供另一种信息聚合方式。

但对高分辨率图像，若每个位置都与所有位置交互，代价较大。Swin 的思路是在窗口内部计算注意力，再通过窗口移位逐层建立跨窗口联系。

重新整理的一些背景知识：

什么是 W-MSA 与 SW-MSA？

W-MSA 在固定的不重叠窗口内计算多头自注意力；SW-MSA 改变窗口划分，让前一层属于不同窗口的特征在后续层能够交互。两者交替使用。

移位窗口是不是一次就看到了全图？

不是。一次操作仍在有限窗口内完成，较大范围的联系通过多层传播逐步形成。不能把它写成既与全局注意力完全相同，又没有相应代价。

PI 与 nPI 表示什么？

在本文中，PI 表示训练时使用多通道参考与灵敏度图构造损失；nPI 表示不使用这种多通道监督。它们不是两个具有不同输出通道数的网络，模型本身输出单通道图像。

03 方法

（1）先看数据流，避免混淆原始多线圈重建

按照原文 Fig. 2，作者先将多线圈参考图像用 RSS 合并成单通道参考，再对其 FFT 结果模拟欠采样与噪声，经 iFFT 得到零填充输入x u x_uxu​。网络通过残差方式输出：

x ^ = x u + N θ ( x u ) \widehat x=x_u+\mathcal N_\theta(x_u)x=xu​+Nθ​(xu​)

原文还从多通道参考估计 ESPIRiT 灵敏度图，用于将单通道输出映射为多通道预测并构造训练损失。

因此，这里的输入构造与 MoDL、SSDU 直接使用各线圈欠采样原始测量求解并不相同。尤其是灵敏度图在文中由多通道参考生成，不能默认为已经验证了仅靠实际欠采样校准区的完整部署流程。

（2）整体结构：卷积输入、Swin 特征提取、卷积输出

SwinMR 包括三个模块：

• 输入模块 IM：通过卷积将单通道图像映射到特征空间。
• 特征提取模块 FEM：串联多个残差 Swin Transformer 块，再接卷积。
• 输出模块 OM：将特征映射回单通道图像。

特征层面和图像输出层面均使用残差连接。重建主干不是一个交替执行 CNN/DC 的优化展开网络，频域监督损失也不等于推理时显式执行 DC 求解。

图 1：来源于原文 Fig. 3。RSTB 包含多个 Swin Transformer 层、特征嵌入/恢复、卷积及残差结构。

（3）Swin Transformer 层如何更新？

每层先进行层归一化与注意力更新，再进行层归一化与 MLP 更新：

X ′ = X + (S)W-MSA ⁡ ( LN ⁡ ( X ) ) X'=X+\operatorname{(S)W\text{-}MSA}(\operatorname{LN}(X))X′=X+(S)W-MSA(LN(X))

X ′ ′ = X ′ + MLP ⁡ ( LN ⁡ ( X ′ ) ) X''=X'+\operatorname{MLP}(\operatorname{LN}(X'))X′′=X′+MLP(LN(X′))

窗口内部的注意力为：

Attention ⁡ ( Q , K , V ) = Softmax ⁡ ( Q K T d + B ) V \operatorname{Attention}(Q,K,V) =\operatorname{Softmax}\left(\frac{QK^T}{\sqrt d}+B\right)VAttention(Q,K,V)=Softmax(d​QKT​+B)V

Q , K , V Q,K,VQ,K,V由特征投影得到，B BB是相对位置偏置。普通窗口与移位窗口层交替使用，避免所有层始终困在相同分区中。

若有N = H W N=HWN=HW个位置，窗口边长为M MM，注意力交互项从全局的O ( N 2 ) O(N^2)O(N2)降至O ( N M 2 ) O(NM^2)O(NM2)；这是固定特征维度时的比较，投影和 MLP 等开销仍然存在。

（4）用线圈灵敏度构造多通道损失

设第q qq个线圈参考图像为x q x_qxq​、灵敏度为S q S_qSq​、完整参考频域数据为y q y_qyq​，单通道预测x ^ \widehat xx的多通道表示为S q ⊙ x ^ S_q\odot\widehat xSq​⊙x。

定义 Charbonnier 型惩罚：

ϕ ϵ ( v ) = ∥ v ∥ 2 2 + ϵ 2 \phi_\epsilon(v)=\sqrt{\|v\|_2^2+\epsilon^2}ϕϵ​(v)=∥v∥22​+ϵ2​

按原文式（23）与（24），像素及频域损失分别为：

L p i x e l = 1 S ∑ q = 1 S ϕ ϵ ( x q − S q ⊙ x ^ ) \mathcal L_{\mathrm{pixel}}= \frac1S\sum_{q=1}^S\phi_\epsilon(x_q-S_q\odot\widehat x)Lpixel​=S1​q=1∑S​ϕϵ​(xq​−Sq​⊙x)

L f r e q = 1 S ∑ q = 1 S ϕ ϵ ( y q − F ( S q ⊙ x ^ ) ) \mathcal L_{\mathrm{freq}}= \frac1S\sum_{q=1}^S\phi_\epsilon\left(y_q-F(S_q\odot\widehat x)\right)Lfreq​=S1​q=1∑S​ϕϵ​(yq​−F(Sq​⊙x))

再加入 VGG 特征的ℓ 1 \ell_1ℓ1​感知损失：

L t o t a l = α L p i x e l + β L f r e q + γ L V G G \mathcal L_{\mathrm{total}}= \alpha\mathcal L_{\mathrm{pixel}}+ \beta\mathcal L_{\mathrm{freq}}+ \gamma\mathcal L_{\mathrm{VGG}}Ltotal​=αLpixel​+βLfreq​+γLVGG​

此处F FF是完整傅里叶变换，y q y_qyq​来自训练参考，不是只在实际欠采样点计算的一项独立自监督损失。本文仍然是监督学习。

（5）具体设置

采用 6 个 RSTB，每个包含 6 个 STL；窗口边长 8，注意力头数 6，特征通道数 180，训练裁剪尺寸为96 × 96 96\times9696×96。这里的 96 是训练图像块边长，不是窗口边长。

损失权重为α = 15 \alpha=15α=15、β = 0.1 \beta=0.1β=0.1、γ = 0.0025 \gamma=0.0025γ=0.0025。用 Adam 训练 100,000 步，初始学习率2 × 10 − 4 2\times10^{-4}2×10−4，并采用翻转与旋转增强。

04 结果

主数据集：

主要比较使用 Calgary-Campinas 多通道脑 MRI。作者选择 67 个病例，按 40/7/20 分为训练、验证、测试，每例取读出方向中心附近 100 张二维切片，处理后尺寸为256 × 256 256\times256256×256。

Gaussian 1D 30% 掩膜下的比较：

下表摘自原文 Table 1，PSNR 与 SSIM 为均值 ± 标准差，FID 越低越好：

最值得注意的是：nPI 的 PSNR 与 SSIM 更高，PI 的 FID 更低。多通道损失没有让所有指标同时改善，不能把 PI 版本写成三项全部第一。

图 2：来源于 Fig. 4。包含重建、Sobel 边缘与放大 10 倍的绝对差异。上方示例数值与表格总体均值属于不同统计层面。

作者认为 PI 结果保留了更多细节与纹理，但也指出这些细节不一定逐像素准确。较低 FID 反映特征分布更接近，不能直接解释为病灶或每条纹理都更真实。

计算量：

SwinMR 约 11.40 M 参数，但256 × 256 256\times256256×256输入的计算量约为 800.73 G MACs；U-Net 为 32.31 M 参数、56.44 G MACs。RTX 3090 上平均推理耗时分别约为 0.041 秒与 0.006 秒；CPU 上 SwinMR 约需 19.31 秒。

这说明参数量少不等于运算量小，“用于快速 MRI”也不意味着它比所有前馈 CNN 更快。

掩膜、噪声与损失消融：

作者比较 Gaussian 1D 的 10%、30%、50% 采样，以及 10% 径向和螺旋掩膜，并测试不同噪声水平。SwinMR PI 在这些比较中优于 DAGAN，但不能仅由多种掩膜实验认定同一权重必然泛化到任意新轨迹。

文中噪声水平定义为N L = N 0 / ( S 0 + N 0 ) \mathrm{NL}=N_0/(S_0+N_0)NL=N0​/(S0​+N0​)，不是标准差占信号幅值的百分比。损失消融还显示，频域损失通常改善保真指标，感知损失倾向于改善 FID，却可能降低 PI 版本的 PSNR/SSIM。

下游分割：

作者在 BraTS17 四种序列上分别训练重建权重，将结果送入已有的多模态脑肿瘤分割网络。Table 6 中，30% 掩膜下整个肿瘤 WT 的 Dice 中位数，参考图像、重建图像、零填充图像分别为0.968、0.964、0.949。

这表明重建改善了该下游任务。部分分布比较没有统计显著差异，但不能据此证明重建与完整参考在所有病例和任务中等效。

05 思考

这篇文章的物理信息放在哪里？

主要体现在多通道监督的构造，而不是每轮推理都解物理子问题。这与 MoDL 的 CG-DC，以及 SSDU 的测量留出损失是不同设计。阅读“结合并行成像”的表述时，要进一步检查算子到底进入网络、损失还是数据预处理。

为什么不同指标会给出不同答案？

PSNR 由像素误差决定，SSIM 衡量局部结构关系，FID 比较预训练特征空间中的分布。感知上更丰富的细节，可能同时带来更大像素误差。医学图像需要结合真实结构与任务评价，而不能只选择对模型最有利的指标。

窗口注意力是否证明 CNN 不适合重建？

没有。CNN 也能通过深度、多尺度等方式扩大感受野。本文展示了一个有竞争力的窗口注意力方案，但没有隔离所有结构、损失和计算预算因素，因此结论应限于所比较的方法与设置。

走向实际多线圈采集，还需要核对什么？

输入是否保留复数相位、灵敏度图从哪里获得、模拟掩膜与真实轨迹是否一致，以及真实测量能否约束预测。尤其需要区分对 RSS 合并图模拟欠采样，与实际多线圈原始数据欠采样的差别。

可以学习的点？

在高分辨率任务中控制注意力范围；将损失设计与评价目标联系起来；同时报告质量、参数量、计算量和耗时；使用下游任务补充图像指标，而不把它当作完整的临床有效性证明。

06 新掌握的表达

移位窗口多头自注意力：shifted-window multi-head self-attention

残差 Swin Transformer 块：residual Swin transformer block

相对位置偏置：relative position bias

线圈灵敏度图：coil sensitivity maps

感知损失：perceptual loss

频域损失：frequency-domain loss

下游任务评价：downstream task evaluation