企业官网建设流程全解析

系列：《LLM技术全景：从Token到部署》工程实践篇第8篇
承接：第39篇《本地部署实战（一）：Ollama/LM Studio 快速入门》｜ 预告：第41篇《边缘设备部署：手机与IoT设备上的LLM》

摘要

• 核心问题：第 39 篇我们用 Ollama / LM Studio 把模型"跑起来"了，但它们默认走单卡、能跑多大取决于你手里那张卡的显存。一旦你想跑 70B、想多并发、想压榨消费级显卡的极限，"显存怎么算、卡怎么分、层怎么搬"就成了绕不开的三道题。
• 主要贡献：讲清 GPU 显存的四笔账（权重 / KV 缓存 / 激活 / 运行开销）；对比张量并行（TP）、流水线并行（PP）、数据并行（DP）三种多卡切法及各自的适用边界；给出 vLLM 多卡命令、llama.cpp 分层卸载与多卡切分、以及没有大显存时 HuggingFacedevice_map的兜底方案；附一个可精确估算显存的 Python 小工具。
• 阅读收获：
  1. 建立"显存由什么构成"的直觉——短上下文权重主导，长上下文 KV 缓存反超权重；
  2. 掌握按显存选张量并行度（TP）的算法：把"权重+KV"摊到 N 张