企业官网建设流程全解析

在 Linux 内核热更新（Kexec Live Update）技术演进中，IOMMU 状态保存与恢复（IOMMU State Preservation / Persistence）是实现直通设备（VFIO/iommufd）虚拟机无缝热升级的关键一环。

结合最新的补丁集（PATCH v5 00/18）及社区开发规划，本文将从依赖模块、核心架构、准备工作、现存局限以及下一步开发计划五个维度，全面梳理 IOMMU Live Update 的现状与演进路径。

1. IOMMU Live Update 依赖的外部模块

IOMMU Live Update 并非孤立实现，它高度依赖 Linux 内核中 LUO 框架及底层硬件/设备保存机制的整体协作：

1. LUO (Live Update Orchestrator)：提供文件描述符（FD）跨 Kexec 保存与恢复的管理框架。IOMMUFD 和 VFIO cdev 的生命周期均受 LUO 控制。

2. KHO (Kexec Handover)：内核数据跨 Kexec 传递的底层基础设施，用于分配、序列化并保存 IOMMU 的根表、页表和上下文状态内存（FLB, File-Lifecycle-Bound Data）。

3. VFIO CDEV 保存补丁集 (VFIO cdev preservation series)：实现用户态 VFIO 字符设备 FD 在 Live Update 期间的保存与重建。

4. PCI 核心设备保存补丁集 (PCI base device preservation series)：保留 PCI 配置空间与设备硬件状态，确保 Kexec 重启后设备不会被硬复位或丢失配置。

5. Generic Page Table (iommupt / pt_iommu_ops)：通用页表操作接口，用于在热更新期间遍历、保存与还原 Domain 页表页（ioptdesc）。

2. IOMMU Live Update 的架构设计

IOMMU Live Update 的核心目标是在内核切换期间保持 IOMMU 硬件翻译始终开启，防止直通设备发出乱序 DMA 损坏内存。架构分为保存（Preserve）与恢复（Restore）两个主要阶段：

+-----------------------------------------------------------------------+ | PRESERVATION PHASE | | [VMM/User] --> ioctl(MARK_PRESERVE) --> [iommufd] | | | | | [LUO Session] -> Preserve iommufd & vfio_cdev v | | [IOMMU Core] --(GPT Walker)--> [KHO Memory] | | (Preserve HWPT, Domain, Context Entries & PTs) | +-----------------------------------------------------------------------+ | kexec reboot | +-----------------------------------------------------------------------+ | RESTORE PHASE | | [Boot/Init] --> [IOMMU Driver (VT-d)] <--(KHO) | | (Restore Root Table, DIDs, Context Entries) | | [Device Probe]-> Reattach restored domains & Claim DMA Ownership | | [VMM Reclaim]-> Hotswap / Replace Domain & Release Restored State | +-----------------------------------------------------------------------+

1. 保存（Preservation）阶段：

   • 用户态（VMM/QEMU）通过新的ioctl将指定的 HWPT 标记为保存对象。

   • LUO 触发iommufd和vfio_cdev的保存流程。iommufd遍历 marked HWPT，调用 IOMMU Core API。

   • IOMMU Core 利用 Generic Page Table 机制提取并序列化 Domain 页表，同时 Intel VT-d 驱动保存根表（Root Entry）、Context Entries 及 PASID Table，并将其存储在 KHO 内存区。

2. 恢复（Restore）阶段：

   • 早期初始化：新内核启动早期，IOMMU 驱动（如 VT-d）从 KHO 提取序列化数据，恢复 IOMMU 硬件单元与根表，并回收（Reclaim）已分配的 Domain ID (DID)。

   • 设备 Probe 与 Domain 重新挂载：在设备探测阶段，自动重建与恢复对应的 IOMMU Domain 并重新挂载（Reattach）。

   • 锁定 DMA 所有权：新内核自动声明对应设备的 DMA 所有权。任何非 VFIO 驱动绑定尝试均直接返回-EBUSY（Device or resource busy）。

3. 实现与运行 IOMMU Live Update 的准备工作

在配置或测试 IOMMU Live Update 前，需要满足以下前提：

1. 内核配置支持：编译内核时需开启CONFIG_IOMMU_LIVEUPDATE、CONFIG_LIVEUPDATE、CONFIG_IOMMUFD以及CONFIG_KEXEC_HANDOVER（64位系统）。

2. 物理/虚拟机环境准备：

   • 设备驱动需绑定至vfio-pci（如/dev/vfio/devices/vfioX）。

   • 由于第一阶段不支持 ATS，系统启动时必须添加命令行参数pci-noats。

3. 内存与文件约束：

   • 仅支持基于文件的 DMA 映射（如memfd）。

   • 映射背后的memfd在创建 DMA 映射时必须已设置特定的 Seal 标记（F_SEAL_SEAL | F_SEAL_GROW | F_SEAL_SHRINK），防止在 Live Update 期间发生内存缩扩或重映射。

4. 目前 Patchset (v5) 的局限与不足

尽管 v5 补丁集已经实现了基础的保存与恢复流程，但在功能覆盖和完善度上仍存在以下不足：

1. 只实现了 Phase 1（仅保存/恢复，无法完全回收）：

   • 新内核启动后，虽然状态已被恢复且锁定，但用户态iommufd尚无法通过 Phase 2 接口主动“接管（Reclaim）”恢复的 HWPT 或进行热替换（Hotswap/Domain Replacement）。

2. DMA 映射场景限制：

   • 仅支持 File-backed DMA 映射：暂不支持匿名内存（Anonymous memory）或guest_memfd的保存。

   • Punch Hole 漏洞风险：社区讨论指出，虽然检查了memfdseals，但用户态仍可能通过 Punch Hole 破坏映射，需要在后续版本加入截断计数（Truncate count）或进一步校验。

3. 硬件与特性支持受限：

   • 拒绝 ATS 设备：若设备启用 ATS，保存将被拒绝（因 ATS 跨 Kexec 状态同步过于复杂）。

   • 仅支持 Singleton IOMMU Group：若一个 IOMMU Group 包含多个设备，补丁集目前会直接拒绝保存。

   • 只支持 NO_PASID（或基本 PASID 表保存）：对非零 PASID 及复杂 PASID 绑定的全面支持尚不完整。

   • 架构局限：目前仅实现了 Intel VT-d 的硬件驱动支持，AMD-Vi 和 Arm SMMUv3 尚未并入该补丁集。

5. 下一步的开发计划 (Roadmap & Future Work)

根据作者 Samiullah Khawaja 等人在社区公布的路线图，IOMMU Live Update 的后续演进划分为以下关键 Milestone：

• 阶段 1：完成 Core + Intel 完整闭环

  • Phase 2 (IOMMUFD Reclaim)：实现iommufd恢复接口，允许用户态 VMM 接管已恢复的 VFIO cdev 并恢复/替换 HWPT。

  • 无中断 Domain 替换 (Hitless Domain Replacement)：允许 VMM 创建新的 HWPT 并在不中断设备 DMA 的情况下完成旧 Domain 的平滑替换。

  • ATS 支持：配合 PCI Core 引入 ATS 状态保存与恢复机制。

• 阶段 2：Arm SMMUv3 架构支持

  • 支持 Arm64 通用页表（IOMMUPT Arm64），实现 Stream Table (STE) 及 Stage-2 页表保存。

  • 实现基于 DMA Alloc API 的驱动数据结构保存。

• 阶段 3：全 PASID 与高级特性支持

  • 全 PASID 支持：允许保存和恢复非零 PASID 绑定。

  • vIOMMU (Nested Domain) 支持：支持 Nested Domain（Parent + Nested）的状态保存与恢复，配合 VMM 恢复虚拟 IOMMU 状态。

• 阶段 4：扩展内存类型与其它架构

  • guest_memfd集成：支持基于guest_memfd的 Guest 内存 Pin 状态保存。

  • VFIO 导出 DMABUF 保存：支持 PCIe BAR 映射的 DMABUF 保存。

  • AMD-Vi 适配：实现 AMD IOMMU 的 Root Table 及 Domain 页表保存与恢复。