企业官网建设流程全解析

1. 先搞清楚“AI算力选型”到底在选什么

很多人一看到“AI算力选型”，第一反应就是去查显卡型号、对比显存大小，或者直接问“哪个GPU最便宜”。这其实把问题想简单了。选型，尤其是云服务器上的GPU选型，本质上是在为你的具体任务、预算和团队习惯，寻找一个成本、性能和易用性之间的最优平衡点。

我处理过很多从本地开发转向云上训练、或者从一种云GPU换到另一种的案例。踩坑最多的往往不是硬件性能本身，而是环境配置、网络传输、存储成本和任务调度这些“软”环节。一个显存再大的实例，如果磁盘IO慢如蜗牛，加载几百GB数据集的时间可能比训练时间还长；一个计算卡再强，如果驱动、CUDA版本和你的PyTorch不兼容，也得折腾好几天。

所以，这篇文章不会只罗列阿里云上有哪些GPU型号。我会结合实战，拆解从“我有一个AI任务”到“在云上稳定跑起来”的全链路。核心是帮你建立一套选型逻辑：先看任务类型定硬件，再看使用频率定计费模式，最后看团队流程定配套服务。这样选出来的配置，才不容易在后续开发中遇到“卡脖子”的问题。

2. 拆解你的AI任务：这是选型的起点

所有选型都必须从任务出发。任务性质直接决定了你对GPU的核心诉求。我们可以把常见的AI任务粗略分为几类，每类对GPU的要求侧重点完全不同。

2.1 模型训练：关注显存、计算核心与互联

这是最吃资源的场景。你需要关注三个核心指标：

1. 显存（GPU Memory）：决定了单卡能塞下多大的模型和多大的批量大小（Batch Size）。例如，训练一个70亿参数的大语言模型（LLM），使用BF16混合精度，模型权重本身就需要约14GB显存，再加上优化器状态、梯度、激活值等，轻松突破20GB。选型时，显存容量是硬门槛。
2. 计算核心与架构：决定了训练速度。Tensor Core数量、FP16/BF16/FP32/INT8的计算性能（TFLOPS）是关键。对于Transformer类模型，Tensor Core的利用率直接影响吞吐。阿里云提供的NVIDIA V100、A10、A100、H100等，每一代的架构（Volta, Ampere, Hopper）和核心数都有显著差异。
3. 多卡互联：当单卡显存或速度不够时，需要多卡并行。这时，GPU之间的互联带宽（如NVLink）就至关重要。低带宽下，多卡通信会成为瓶颈，加速比远达不到理想状态。阿里云的gn7e、gn7i等实例家族，就提供了高带宽的NVLink互联。

实战建议：不要一上来就追求最顶级的卡。先用小批量数据在单卡、低配置上跑通整个训练流程，监控显存占用的峰值。这个峰值乘以1.2~1.5的安全系数，就是你选择GPU显存的下限。然后再根据你的时间预算，评估是否需要更强算力或多卡。

2.2 模型推理/部署：关注吞吐、延迟与成本

推理场景和训练不同，它通常是持续性的服务。

1. 吞吐量（Throughput）：单位时间内能处理多少请求（如每秒处理多少张图片、多少条文本）。这需要GPU有强大的并行计算能力，并且模型和框架要支持动态批处理（Dynamic Batching）。
2. 延迟（Latency）：单个请求从输入到输出需要多长时间。对于交互式应用（如聊天机器人），延迟要求非常苛刻。高延迟的卡即使吞吐高也不适用。
3. 成本：推理是7x24小时运行，电费和实例费用是持续支出。性价比是关键。通常，推理会使用精度更低的计算（如INT8量化），甚至使用专门为推理优化的GPU（如NVIDIA T4，虽然训练性能一般，但推理能效比很高）。

实战建议：推理选型一定要做压力测试。用接近生产环境的请求流量去压测，观察在不同并发下的GPU利用率、显存占用、吞吐和延迟。阿里云一些带“g”后缀的实例（如gn7i）兼顾训练和推理，而gn6i（T4）则是经典的推理性价比之选。

2.3 深度学习开发与学习：关注灵活性与启动速度

如果你是学生、研究者，或者在做算法原型验证，需求又不一样。

1. 灵活性：需要频繁创建、释放实例，尝试不同的环境配置。按量计费、支持自定义镜像、能快速挂载数据集是关键。
2. 启动速度：从点击创建到能ssh登录开始工作，这个时间越短越好。使用公共镜像或保存好的自定义镜像可以极大缩短时间。
3. 成本控制：可能每天只用几小时。按量计费配合关机不收费（仅收云盘费用）的模式是最划算的。阿里云GPU实例大多支持“停机不收费”功能。

实战建议：直接选择阿里云最入门的GPU实例，比如gn7i（配备A10）或更早的gn6i（T4）。显存够用（16GB/8GB），计算能力足以跑通大多数论文的代码。重点是利用好“弹性”，随用随开，不用即停。

3. 阿里云GPU实例家族深度对比与选择

了解了任务需求，我们来看阿里云提供的“武器库”。阿里云的GPU实例通常以gn作为系列前缀，后面跟着代次和特性字母。

3.1 主流实例家族一览

下表整理了当前（基于常见搜索信息）主流的几类GPU实例，帮助你快速定位：

注意：实例规格和可用区会动态变化，以上信息为通用参考，实际购买前请务必在阿里云ECS购买页面确认最新规格。

3.2 如何看懂一个实例规格名？

例如：ecs.gn7i-c24g1.12xlarge

• ecs: 弹性计算服务。
• gn7i: 实例系列，如上表所述。
• c24g1: 通常表示vCPU和GPU的配比信息，这里是24核vCPU配1颗GPU。
• 12xlarge: 实例大小规格，决定了vCPU数量、内存大小等。

选型时，不仅要看GPU，还要看配套的vCPU、内存和网络带宽。

• vCPU与内存：数据预处理、日志记录等任务在CPU上进行。如果CPU太弱，会成为GPU的“喂料”瓶颈。一个经验法则是，内存大小至少是GPU显存总量的2倍以上。
• 网络带宽：如果你需要从对象存储OSS高速拉取训练数据，或者在多机多卡训练时，网络带宽至关重要。gn7e、gn7i系列通常配有更高的内网带宽。

3.3 计费模式选择：如何花钱最聪明？

这是控制成本的核心。阿里云GPU主要有三种计费模式：

1. 按量计费：用一小时付一小时的钱，单价最贵，但最灵活。适合短期任务、开发测试、弹性伸缩。
2. 包年包月：一次性支付一个月或更长时间的费用，单价最低。适合长期稳定运行的生产环境，如推理服务、长期训练任务。
3. 抢占式实例：价格最低（通常是按量价格的1-10%），但阿里云可能随时回收实例（一般会给2分钟缓冲）。适合对中断不敏感的超大规模批处理任务、容错能力强的分布式训练。比如做超参搜索，跑100个实验，中断几个不影响最终结论。

实战建议：采用混合策略。开发环境用按量计费，随时开关。训练任务如果预计超过一周，可以评估包月是否更划算。做大规模实验时，用抢占式实例集群，但一定要把检查点（Checkpoint）定期保存到持久化存储（如云盘或OSS）上。

4. 从零开始：创建并配置一台实战型GPU服务器

理论说完，我们实操。假设我们要创建一个用于Stable Diffusion模型微调和推理的GPU环境。

4.1 创建实例的关键步骤与避坑点

1. 地域与可用区：选择离你或你的用户最近的地域，以降低网络延迟。同时，不是所有地域和可用区都有所有GPU型号。在ECS控制台创建时，如果选不到想要的GPU，换一个可用区或地域试试。
2. 镜像选择：这是最大的坑点之一。强烈建议选择阿里云提供的GPU优化镜像（如“Ubuntu 20.04 with GPU Driver”或“PyTorch GPU环境”）。这些镜像预装了NVIDIA驱动、CUDA、cuDNN等基础环境，省去大量安装和兼容性排查时间。不要从纯净版OS开始自己装驱动，除非你有特殊需求。
3. 系统盘与数据盘：
   • 系统盘：建议100GB以上，因为深度学习环境、库文件体积不小。
   • 数据盘：务必添加一块高效云盘或ESSD云盘作为数据盘（如500GB）。不要把所有数据都放在系统盘。一来系统盘性能可能不足，二来未来释放实例或更换系统时，数据盘可以单独保留和挂载，数据更安全。
4. 安全组：务必开放你需要的端口，比如SSH的22端口，以及如果你要运行Web服务（如Gradio、Streamlit）的端口（如7860, 8501）。一个常见的错误是实例创建成功，但死活连不上，多半是安全组没配好。
5. 密钥对：使用SSH密钥对登录比密码更安全。创建实例时绑定密钥对，下载私钥（.pem文件）并妥善保管。

4.2 首次登录与环境验证

创建成功后，通过SSH连接你的服务器。

ssh -i /path/to/your-key.pem root@<你的公网IP>

登录后第一件事，验证GPU驱动是否正常安装：

nvidia-smi

你应该能看到类似下面的输出，显示了GPU型号、驱动版本、CUDA版本以及当前的进程和显存占用情况。如果报错command not found，说明驱动没装好，需要换镜像或手动安装。

+-----------------------------------------------------------------------------+ | NVIDIA-SMI 535.161.07 Driver Version: 535.161.07 CUDA Version: 12.2 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |===============================+======================+======================+ | 0 NVIDIA A10 On | 00000000:00:08.0 Off | 0 | | 0% 38C P0 68W / 150W | 0MiB / 23028MiB | 0% Default | | | | N/A | +-------------------------------+----------------------+----------------------+

4.3 配置深度学习环境（以PyTorch为例）

即使使用了优化镜像，也可能需要安装特定版本的PyTorch。前往 PyTorch官网 获取安装命令。根据你的CUDA版本（nvidia-smi中显示）进行选择。

例如，如果你的CUDA版本是12.1，可以运行：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

安装后，进入Python环境验证：

import torch print(torch.__version__) # 打印PyTorch版本 print(torch.cuda.is_available()) # 应返回 True print(torch.cuda.get_device_name(0)) # 打印你的GPU型号

4.4 挂载数据盘与连接OSS

如果创建时添加了数据盘，需要格式化和挂载。

1. 查看磁盘：lsblk找到你的数据盘（如/dev/vdb）。
2. 格式化（注意：这会清空数据！）：mkfs.ext4 /dev/vdb
3. 创建挂载点并挂载：mkdir /data && mount /dev/vdb /data
4. 设置开机自动挂载：将UUID=<你的vdb的UUID> /data ext4 defaults 0 0添加到/etc/fstab文件。UUID可通过blkid /dev/vdb查看。

对于超大规模数据集，更推荐使用阿里云对象存储OSS。安装OSS工具ossutil，通过内网Endpoint高速同步数据，既节省云盘成本，又便于多台机器共享数据。

5. 实战任务全流程：以微调与部署一个AI模型为例

我们以一个具体的任务流，串联起选型、配置和使用的全过程。

5.1 任务定义与资源评估

任务：微调一个Stable Diffusion 1.5模型，使用1000张自定义图片，训练100个epoch，然后部署一个简单的Web界面进行推理。

• 训练阶段：SD1.5模型加载需要约5-6GB显存。微调时，由于要保存优化器状态和梯度，显存需求会翻倍。加上图像数据本身，预计峰值显存需要12-14GB。因此，至少需要一块16GB显存的GPU（如A10）。训练时间预估：在A10上，1000张图100个epoch可能需要数小时到一天。
• 推理阶段：单张图片生成对显存要求降低（~5GB），但对生成速度（延迟）有要求。A10同样可以胜任。

结论：选择一台gn7（A10 24GB）实例，既能舒适地完成训练，也能高效进行推理。采用按量计费，训练完成后可转为包月或保留镜像后释放。

5.2 环境与代码准备

1. 连接实例：通过SSH登录。
2. 克隆代码：使用git克隆diffusers或stable-diffusion-webui等项目的代码。
3. 创建虚拟环境：使用conda或venv隔离环境。

   conda create -n sd_finetune python=3.10 conda activate sd_finetune

4. 安装依赖：

   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install diffusers accelerate transformers datasets

5.3 数据准备与训练脚本

1. 上传数据：将1000张图片通过scp或ossutil上传到服务器的/data/training_images目录。
2. 准备训练脚本：编写或使用现有的微调脚本（如train_text_to_image.py）。关键配置：
   • --pretrained_model_name_or_path: 设置为"runwayml/stable-diffusion-v1-5"
   • --train_data_dir: 指向/data/training_images
   • --output_dir: 设置为/data/model_output
   • --resolution: 根据你的图片大小设置，如512。
   • --train_batch_size:这是关键参数。从1开始尝试，用nvidia-smi监控显存，逐步调大，直到显存占用达到20GB左右（为A10留出一些余量）。
   • --mixed_precision: 设置为fp16以节省显存和加速训练。
3. 启动训练：

   accelerate launch train_text_to_image.py \ --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \ --train_data_dir="/data/training_images" \ --output_dir="/data/model_output" \ --resolution=512 \ --train_batch_size=4 \ --num_train_epochs=100 \ --checkpointing_steps=500 \ --learning_rate=1e-5 \ --lr_scheduler="constant" \ --lr_warmup_steps=0 \ --mixed_precision="fp16"

   注意：--checkpointing_steps非常重要，定期保存检查点，防止训练中断后前功尽弃。

5.4 模型部署与Web服务

训练完成后，在/data/model_output目录下会得到微调好的模型。

1. 安装推理库：如果需要Web界面，可以安装Gradio。

   pip install gradio

2. 编写简易推理脚本app.py：

   import torch from diffusers import StableDiffusionPipeline import gradio as gr # 加载微调后的模型 model_path = "/data/model_output" pipe = StableDiffusionPipeline.from_pretrained(model_path, torch_dtype=torch.float16).to("cuda") def generate_image(prompt): image = pipe(prompt).images[0] return image # 创建Web界面 iface = gr.Interface(fn=generate_image, inputs="text", outputs="image") iface.launch(server_name="0.0.0.0", server_port=7860) # 允许外部访问

3. 运行服务：

   python app.py

4. 访问服务：在浏览器中输入http://<你的公网IP>:7860即可访问。务必确保安全组已开放7860端口。

5.5 任务完成后的资源管理

• 保存成果：将最终模型文件从/data/model_output同步到OSS进行持久化备份。
• 制作自定义镜像：在ECS控制台，为此实例创建自定义镜像。这样下次启动一个同配置实例时，可以直接选择这个镜像，环境、代码、依赖全部就绪。
• 释放实例：如果暂时不用，先确认数据已备份，然后停止实例。对于按量计费实例，停止后选择“停机不收费”，就只会继续收取云盘的费用，GPU和CPU不再计费。需要时再启动即可。

6. 高阶议题与深度优化

当你能顺利跑通单个任务后，下一步就是考虑效率、成本和稳定性。

6.1 监控与性能调优

不要只盯着任务是否跑完。要关注资源利用率。

• GPU-Util：通过nvidia-smi -l 1持续观察GPU利用率。如果长期低于50%，可能是数据加载（CPU/磁盘/网络）成了瓶颈，或者batch_size设置过小。
• 显存占用：训练时显存应接近饱和但未溢出。如果显存用不满，可以尝试增大batch_size以提升计算效率。
• CPU与内存：使用htop命令查看。如果CPU某个核长期100%，可能是数据预处理单线程阻塞。
• 磁盘IO：使用iostat -x 1查看。如果磁盘利用率（util）持续接近100%，说明数据读取太慢，考虑使用更高速的ESSD云盘，或者将数据预加载到内存中。

6.2 利用MIG提高GPU利用率

对于像A100、A10这样的GPU，如果单个任务用不满整卡算力，可以使用NVIDIA MIG（Multi-Instance GPU）技术将一块物理GPU划分为多个独立的GPU实例。这在云上多人共享开发环境或部署多个小模型推理服务时非常有用，能实现更好的资源隔离和利用率。

在阿里云上，部分镜像和实例规格支持MIG。启用后，你可以通过nvidia-smi mig -l列出可切分配置，然后创建MIG实例。每个实例看起来就像一块独立的、显存更小的GPU。

6.3 自动化与弹性伸缩

对于生产级推理服务，手动管理实例不可行。你需要结合阿里云的弹性伸缩（ESS）、负载均衡（SLB）和容器服务（ACK）。

• 弹性伸缩：可以基于GPU利用率等监控指标，自动增加或减少GPU实例数量，以应对流量高峰和低谷。
• 容器化部署：使用Docker将你的模型、环境和应用打包成一个镜像。然后在ACK（Kubernetes）集群中部署，可以轻松实现滚动更新、健康检查和弹性伸缩。
• 模型服务网格：对于更复杂的多模型部署和流量管理，可以考虑使用阿里云模型服务网格或开源方案如KServe、Triton Inference Server。

6.4 成本控制实战技巧

1. 预留实例券（RI）：如果你能承诺长期使用（1年或3年），购买RI可以大幅降低包年包月的成本，有时折扣可达5折以上。
2. 节省计划：另一种承诺消费金额的模式，比按量计费有折扣，且比RI更灵活，适用于使用量稳定但实例规格可能变化的场景。
3. 混合部署：将Web前端、数据库等非GPU负载部署在更便宜的通用计算实例上，GPU实例只专心做模型服务。
4. 使用Spot实例（抢占式实例）进行超参搜索：启动多个不同参数的抢占式实例同时训练，即使部分被回收，也能通过保存的检查点快速恢复或直接比较已完成的轮次结果，用极低的成本完成搜索。

7. 常见问题排查清单（从现象到根因）

遇到问题不要慌，按以下顺序排查，能解决90%的“玄学”问题。

7.1 实例创建与连接问题

• 现象：创建实例失败。
  • 排查：目标可用区资源不足。换一个可用区或地域重试。
• 现象：SSH无法连接。
  • 排查1：安全组未放行22端口。去控制台安全组规则检查。
  • 排查2：实例处于“已停止”状态。启动实例。
  • 排查3：本地网络或防火墙问题。尝试用阿里云控制台的VNC连接。

7.2 GPU驱动与环境问题

• 现象：nvidia-smi命令未找到或报错。
  • 排查：未安装驱动。更换为阿里云官方GPU优化镜像是最快解决方案。自行安装需注意内核版本匹配。
• 现象：torch.cuda.is_available()返回False。
  • 排查1：PyTorch版本与CUDA版本不匹配。用nvcc --version和python -c "import torch; print(torch.version.cuda)"对比，重新安装对应版本PyTorch。
  • 排查2：在Docker容器内运行，但容器启动时未添加--gpus all参数。
• 现象：CUDA out of memory。
  • 排查1：这是最常见错误。减小batch_size。
  • 排查2：模型或数据未转移到GPU。检查代码中是否有.to(‘cuda’)或.cuda()。
  • 排查3：内存泄漏。检查训练循环中是否有张量或变量在累积未释放。使用torch.cuda.empty_cache()可临时清理，但需找到根本原因。
  • 排查4：其他用户或进程占用了显存。用nvidia-smi查看并结束无关进程。

7.3 训练与推理性能问题

• 现象：GPU利用率很低（如长期<30%）。
  • 排查1：数据加载是瓶颈。使用DataLoader时增加num_workers，并使用pin_memory=True。将数据放在高速云盘或内存盘。
  • 排查2：batch_size太小，无法充分利用GPU并行能力。在显存允许范围内适当增大。
  • 排查3：CPU预处理过于复杂。优化数据增强等CPU端代码。
• 现象：训练速度波动大。
  • 排查：检查是否与其他租户共享物理资源（在公有云上可能发生）。尝试在监控中观察网络和磁盘IO是否出现周期性波动。

7.4 存储与数据传输问题

• 现象：数据读取非常慢。
  • 排查1：数据盘是普通云盘。升级为ESSD云盘。
  • 排查2：从OSS读取，但使用的是公网Endpoint。务必使用同地域的内网Endpoint，速度更快且免流量费。
  • 排查3：大量小文件读写。考虑将小文件打包（如TFRecord、LMDB格式）或使用更高效的文件系统。
• 现象：磁盘空间不足。
  • 排查：训练日志、检查点、临时文件未定期清理。设置日志轮转和定期清理策略。将最终模型及时转存至OSS。

选型不是一次性的工作，而是一个根据项目进展动态调整的过程。最稳妥的策略永远是：从小规模测试开始，充分监控，理解瓶颈，再逐步扩大和优化。阿里云GPU实例提供了丰富的选择和弹性，理解清楚自己的任务画像，才能把钱和算力都花在刀刃上。