企业官网建设流程全解析

Nature 2026 xvr

1. 一句话总结

xvr利用患者自己的术前扫描生成合成 X 光，以自监督方式快速微调患者专属网络，再通过可微渲染优化姿态。该方法只需5 分钟适配新患者，并在多种解剖部位、成像模态和医院数据上实现毫米级最终配准。

2. 论文信息

题目：Rapid patient-specific neural networks for X-ray to volume registration | 面向X光-体数据配准的快速患者专属神经网络

发表：Nature 2026

作者：Vivek Gopalakrishnan¹²³*、David-Dimitris Chlorogiannis³、Andrew Abumoussa⁴、Anna M. Larson⁵⁶、Nazim Haouchine³、Darren B. Orbach⁶、Sarah Frisken³、Neel Dey²³⁷*、Polina Golland¹²*

单位：¹麻省理工学院哈佛-MIT健康科学与技术项目；²麻省理工学院计算机科学与人工智能实验室；³哈佛医学院放射学系；⁴圣卢克医院 Marion Bloch 神经科学研究所；⁵麻省总医院儿科重症医学科；⁶波士顿儿童医院介入神经放射学系；⁷麻省总医院 Athinoula A. Martinos 生物医学成像中心

代码：

https://github.com/eigenvivek/xvr

主页：

https://xvr.csail.mit.edu

3. 论文摘要

目前的二维/三维配准方法很难跨过解剖部位以及临床流程进行泛化：强度优化依靠的是个性化的参数调整，而监督学习则需要大量的人工标注。xvr将物理模拟、患者专属神经网络以及梯度优化三者结合在一起，在病人术前扫描的基础上产生带有姿态标签的合成 X 光片；预训练的基础模型只需要花费5 分钟的时间就可以适应新的病人，并且之后只需要几秒钟就可以完成手术中的配准工作。

4. 主要创新之处

创新 1：不需要人工标记就可以给病人提供个性化的学习

xvr会根据患者的 CT 或磁共振成像（Magnetic Resonance Imaging，MRI）数据来生成 X 光片，并且姿态也会随着模拟过程自然产生出来，不会给新的病人标出二维或者三维的关键点。

创新 2：全身配准的基础模型

基础模型使用了 4 个公开数据集中的 2,245 个 CT/MR 体数据进行预训练，并且包含全身以及C 臂视角的数据。该模型可以学到不同人群的解剖特征，将单个病人的训练时间从原来的 12 小时缩短到5 分钟。

创新 3：学习初始化和可微优化一起工作

患者专属网络首先给出较大的捕捉范围内的姿态初始值，然后用可微X光渲染器做梯度优化，并且要考虑到神经网络的泛化能力和迭代配准到毫米级别的精度。

5. 方法详解

5.1 问题的界定以及整个体系的大致结构

输入的是患者术前 3D CT/MR 体数据以及术中 2D X 光，输出的是 C 臂的六自由度刚性姿态，也就是。术前用体数据生成随机姿态下的合成 X 光，并对基础模型进行患者专属微调；术中则让网络回归初始姿态，再经过可微渲染和图像相似度优化得到最终姿态。

**图 1. ：**xvr 的临床过程为：首先利用术前体数据创建训练样本，在 5 分钟内完成患者专属网络微调，并在手术过程中使 X 光与 3D 扫描相匹配，从而实现计划重投影以及多视角解剖对应。

5.2 可微 X 光渲染：利用患者的个人数据进行训练

xvr根据Beer-Lambert成像模型对沿射线的体数据进行积分，然后用三线性插值来近似计算：

其中为X光源的位置，为探测器像素的位置，为二者所形成的射线，表示对术前人体数据做三线性插值，是沿着射线取样的点数，决定第个采样点的位置，是该像素处的模拟强度。

**公式解读：**模型把射线穿过人体的数据经过衰减之后的信息给到C臂的姿态上，从而得到合成的X光片；整个过程是可微分的，所以既可以用来生成训练数据也可以在手术过程中进行调整。

**图 2. ：**展示真实的和合成的X光之间的一致性、基于2,245个个体的数据的基础模型训练过程以及ResNet34和连续四元数伴随表示给训练带来的好处。

**扩展数据图 1. ：**物理C臂模拟包含人体数据、C臂姿态、射线追踪、三线性插值以及结构标记投影等。

**扩展数据图 2. ：**合成X光增强过程包含高斯噪声、局部对比度提高、随机遮蔽以及模拟限束。

5.3 姿态回归和自监督损失

用的是ResNet34，把X光图转换成旋转和平移的参数，旋转用的是在上连续的十个参数四元数伴随来表示，然后把得到的结果再送入渲染器，并且和姿态、图像以及可选分割掩膜一起进行比较：

其中，和分别表示真实的姿态以及预测的姿态，和为对应的合成X光片，和为可选的结构掩模；用来衡量刚性变换下的旋转和平移误差，是多尺度归一化的互相关损失函数，保证了标签的一致性；论文中设置参数值为、、。

**公式解读：**姿态项直接修正几何关系，图像项使预测的姿态可以重建出类似的X光片，掩膜项对某些解剖结构进行限制，三者一起构成自监督的学习信号。

**图 3. ：**比较从头训练和基础模型微调的误差曲线；5 分钟微调后即可得到有效的初始姿态，而从头训练需要大约 12 小时。

5.4 几何归一化和姿态细化

对于临床中不断变化的探测器大小、像素间隔以及主点位置的情况，xvr会把手术中的 X 光重新采样为训练时所使用的标准内参：

和表示原始图像和重采样后图像中的像素坐标，为手术时使用的内参矩阵，为标准内参矩阵，为单应变换。

**公式解读：**网络首先在统一的几何条件下对姿态进行预估，在细化阶段再用原始内部参数渲染出高分辨率X光图，从而防止把不同的设备设置错误地看作是姿态的变化。

接着，模型从预测姿态出发，使真实 X 光和重渲染图像的多尺度归一化互相关（mNCC）与梯度归一化互相关（gNCC）平均值最大：前者能捕捉较大的范围，而后者在深度方向上有更明显的峰值。

**扩展数据图 3. ：**手术过程中用X光内参做归一化、网络推理以及用原始内参做高分辨率姿态细化的过程。

**扩展数据图 4. ：**六个姿态参数细化后的效果和 mNCC、gNCC 损失地形；迭代优化大约需要 1–10 秒，主要修正深度误差。

“

**一句话理解该方法：**以患者自己的 3D 扫描作为题目和答案，先让网络确定大致姿态，然后用可微物理模型进行毫米级校正。

6. 实验结果

6.1 实验条件

基础模型使用 4 个公开数据集中的 2,245 个 CT/MR 体数据训练 300,000 步，并且只用单张 NVIDIA H200；患者专属模型输入为合成 X 光，批大小为 116，使用单张 NVIDIA RTX 6000 Ada。论文没有明确给出优化器和学习率。公开测试集包括DeepFluoro（6 具尸体、362 张骨盆 X 光）、Femur（5 具尸体、49 张股骨 X 光）和Ljubljana（10 名病人、20 张数字减影血管造影图像）；另外还在波士顿儿童医院 4 名新生儿和布莱根妇女医院 50 名病人的 122 张影像上进行验证。主要评价标准是平均目标配准误差（mean Target Registration Error，mTRE）与亚毫米成功率（Submillimetre Success Rate，SMSR），并与固定初始化、监督式关键点初始化、xReg、基础模型和从头训练模型进行比较。

6.2 定量的结果

经过5 分钟微调后的xvr，最终mTRE中位数在DeepFluoro、Femur和Ljubljana上分别为1.2 mm、8.0 mm 和 1.4 mm，与训练 12 小时的从头模型没有显著差异；所有基线方法都明显更差（Bonferroni 校正后）。在DeepFluoro上，微调模型的SMSR为41.7%，而关键点初始化结合xReg的方法只有2.8%。对于院外分布的新生儿病例以及大规模Brigham临床数据，最终mTRE分别为2.3 mm（IQR1.5–3.0）和1.2 mm（IQR0.5–1.9）。

**图 4. ：**用不同的初始化和细化方法，在三个公开的数据集中比较误差、训练时间、测试时间和SMSR，并且给出非标准视角下的配准效果。

**扩展数据表 1. ：**各种方法对于不同姿态误差指标的中位数、四分位距以及亚毫米成功率。

**扩展数据表 2. ：**各个数据集最后得到的mTRE的方法排序以及线性混合效应模型的统计对比。

6.3 定性结果

可视化显示，xvr可以把新生儿静脉畸形病例未被预训练分布所涵盖的部分血管结构进行对齐，并且可以处理术前和术中的影像之间由于栓塞血管、开颅改变以及视野裁剪等原因造成的不一致情况。相比于用 DICOM 头信息来初始化的方法，xvr的叠加结果中的骨骼和血管解剖结构更加一致。

**图 5. ：**xvr对于新生儿脑血管病例以及122张真实的临床X光片进行跨分布泛化，并且展示了配准后的C臂姿态分布。

6.5 消融实验

图 2g 显示，ResNet18容量较小，不能拟合宽姿态分布，而ResNet34可以；但采用普通四元数时，两种骨干网络都无法得到高精度结果，说明网络容量和连续旋转表示缺一不可。扩展数据图 4 进一步表明，单独使用mNCC的捕获范围大但深度定位不够准确，gNCC更准确，却在远离真实值时比较粗糙，取两者平均可以兼顾鲁棒性和精度。

6.6 模型复杂度

ResNet34骨干有21,278,400个参数，旋转和平移回归的两个线性层共有6,669个参数，总计21,285,069个参数。论文没有报告 FLOPs；公开数据集上的姿态细化大约需要1–10 秒。在Brigham数据上，姿态预测和细化可在消费级 RTX 3060 上于10 分钟内自动完成，而人工关键点标注需要 40 小时以上。

7. 结论和预测

总结

xvr通过物理模拟来弥补标签不足的问题，利用基础模型加快患者专属训练过程，最后再用可微优化得到稳定的毫米级配准精度。它的主要局限性在于目前仍然需要1–10 秒左右的时间来进行迭代和细化，并且真实的配对临床数据量比较小；论文提出可以进一步提高初始姿态的准确性，并且推广到多刚体、多视角以及内外参联合估计等方面。

“

一句话总结：****xvr将患者的解剖数据转化为训练素材，使不同部位和不同类型的 X 光-体数据配准由小时级训练缩短到5 分钟适配。

往期推荐