企业官网建设流程全解析

天数智芯不是只用一个“自研大模型框架”，而是在自家软件栈上兼容并封装了主流开源框架，典型就是 DeepSpeed / Megatron-DeepSpeed / Colossal-AI / BMTrain 这一套，再加上自家推理引擎和 DeepSpark 社区模型库。

文章由ai生成

可以理解成：

天数智芯 = “国产 GPU + 自研软件栈 + 兼容主流开源框架（DeepSpeed/Megatron/Colossal-AI 等）+ 自研推理引擎 + DeepSpark 生态”

1. 训练侧：用什么框架做预训练 / 微调？

官方公开资料里，天数智芯明确说自己支持的大模型训练框架包括：

• DeepSpeed
• Megatron-DeepSpeed（Megatron-LM + DeepSpeed 的 3D 并行组合）
• Megatron-LM
• Colossal-AI
• BMTrain 等
  一些典型说法：
• 产品页写得很直接：

  支持包括 DeepSpeed、Megatron-DeepSpeed、Megatron-LM、Colossal-AI 等主流框架

• 智源大会上演讲也强调：

  天垓、智铠系列通用 GPU 广泛支持 DeepSpeed、Colossal、BMTrain 等各种大模型框架

• 还和潞晨 Colossal-AI 做了专门的兼容互认证。
  所以，实战上：
• 大模型预训练 / 微调，在天数智芯上常见组合就是：
  • DeepSpeed + Megatron-LM（Megatron-DeepSpeed）做 TP+PP+ZeRO 3D 并行，和你在 NVIDIA/A100 上用的一模一样；
  • 或者Colossal-AI / BMTrain这类更偏“易用+国产适配”的框架。
• 天数智芯自己主要做的是：
  • 自研算子库 + IXCCL 通信库 + 驱动/运行时，把上面这些框架“搬到”自家 GPU 上跑；
  • 在 DeepSpark 社区里提供一堆已经适配好的训练/推理示例和脚本。

2. 推理侧：用什么框架做部署？

推理侧天数智芯也是“兼容为主，自研加速”：

• 官方明确说自家推理框架无缝兼容 vLLM 和 TGI（Text Generation Inference）；
• 展会上也强调智铠系列推理卡兼容 GPTQ、vLLM 等量化和推理引擎；
• DeepSpark 社区里还有基于自研推理引擎 IGIE / IxRT 的示例，以及 vLLM / Megatron-DeepSpeed / Firefly 等的训练/推理示例。
  典型推理栈：
• 大语言模型在线服务：
  天数智芯 GPU + 自研推理引擎 / vLLM / TGI，配合量化（GPTQ 等）。
• 多模态 / 视觉语言模型：
  同样是 vLLM / 自研引擎，只是模型换成 VLM 版本。

3. 和华为昇腾的对比，帮你串一下

你之前问的是“DeepSeek 适配华为昇腾是不是做了类似框架”，现在看天数智芯会更清楚：

• 华为昇腾：
  • 底层：CANN + HCCL
  • 训练：MindSpeed‑LLM + Megatron‑LM（昇腾版 Megatron）
  • 推理：MindIE / vLLM‑Ascend
    → 明确有一套“昇腾版 Megatron + 自研推理引擎”的栈。
• 天数智芯：
  • 底层：自研算子库 + IXCCL + 驱动
  • 训练：直接用开源框架（DeepSpeed / Megatron-DeepSpeed / Colossal-AI / BMTrain），不是另起一个“天数版 Megatron”
  • 推理：自研推理引擎 + 兼容 vLLM / TGI
    → 是“兼容主流开源框架 + 自研底层栈”，不是“再造一个 Megatron”。

4. 一句话总结

• 天数智芯没有搞一个完全独立的“天数大模型框架”，而是：
  • 训练：用DeepSpeed / Megatron-DeepSpeed / Colossal-AI / BMTrain等开源框架，跑在天垓/智铠卡上；
  • 推理：用自研推理引擎 + vLLM / TGI等主流量化/推理引擎；
  • 生态：DeepSpark 社区提供大量适配好的模型和脚本。
    所以如果你要在天数智芯上做大模型训练，技术栈和你在 NVIDIA 上用 DeepSpeed + Megatron 基本是一套，只是底层从 CUDA+NCCL 换成了天数自家的算子库 + IXCCL。

文章由ai生成