企业官网建设流程全解析

Splash 是一款专为 Apple silicon 打造的本地推理引擎，让你在一台 Mac 上直接运行编程智能体（coding agent）和 OpenAI / Anthropic 兼容应用。对新手来说，最大的困惑往往不是"怎么装"，而是splash serve --model后面到底该填哪个模型。这篇文章围绕Splash 模型选择这条主线，讲清 GGUF、MLX 4-bit 与 NVFP4 三种量化格式的差异，并给出 24GB 内存 Mac 的具体选型建议。🎯

一分钟看懂：三种量化格式的区别

"量化"就是给模型权重做压缩：bit 数越低，文件越小、越省内存，但精度可能略有损失。Splash 目前支持两个模型家族——Qwen3.8-27B（稠密模型）和Qwen3.6-35B-A3B（MoE 模型，激活参数仅约 3B，解码更快），并会自动挑选并下载配套的 DFlash2 草稿模型（投机解码的核心，无需手动指定）。

三点需要知道的细节：

• GGUF 的 Unsloth UD 系列覆盖 1–8 bit，但UD-Q8_K_XL和 BF16 两种目标目前不支持；
• NVFP4每权重实际占 4.625 bit（多出的 0.625 bit 存 E4M3 缩放因子），所以比纯 4-bit 稍大，长上下文下内存更紧；
• 模型 ID 采用OWNER/REPO:VARIANT语法，冒号后面的:UD-Q4_K_M就是量化变体，同一仓库换个变体即可换精度档位。

选型规则与家族定义可以参见 install/families.py 和 install/gguf.py。

按 Mac 内存选模型：分界线就在 36GB

36GB 及以上统一内存：首选 MLX 4-bit

这是最省心的路线，官方 Quick start 示例就是它：

brew install incoai/tap/splash splash serve --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M # 或 MLX 4-bit splash serve --model mlx-community/Qwen3.8-27B-4bit

参考官方在 M5 Pro（16 核 GPU / 48GB）上的数据（README.md）：

💡 同一台机器上，35B-A3B 因为激活参数少，日常问答明显更快；27B 稠密模型在需要更强"逐字推理"的场景更稳，可按口味二选一。

24GB 内存 Mac 必读：走低比特 GGUF

官方明确说明：4-bit 示例需要至少 36GB 统一内存（推荐 48GB），24GB 的 Mac 请使用更小的 GGUF 变体。官方在 24GB M6（12 核 GPU）上实测的两个组合（docs/performance.md#smaller-ggufs-on-24-gb-macs）：

另有更极端的选项：Prism ML 的 Ternary-Bonsai-2-27B（PQ2_0 格式，仅 7.2 GB），还支持视觉输入，是 24GB 机器跑 27B 的轻量方案。

给 24GB 用户的三条实操建议：

1. 跑编程智能体（如 Claude Code）大约需要 100K token 上下文，用 27B 时建议加--language-only跳过视觉权重，把内存让给上下文；
2. 内存吃紧时开启--max-cache-disk 16G，把被挤出的缓存写到 SSD，避免长请求因resource_timeout失败；
3. 启动时若内存放不下，Splash 会打印内存预算明细并停止——这是保护性设计，换低比特变体即可。

NVFP4 适合谁？

如果你的 Mac 有 36GB+ 内存、且想要比 4-bit 更高的输出质量，可以考虑 NVFP4 检查点：nvidia/Qwen3.8-27B-NVFP4、unsloth/Qwen3.8-27B-NVFP4、unsloth/Qwen3.6-35B-A3B-NVFP4，以及 NVFP4 版的 GGUF 文件也都能直接加载。它的加载原理与格式细节见 DEVELOPMENT.md 的 Model Optimizer targets 一节，内核按统一格式表解码（runtime/metal/abi/QuantFormat.h）。简单说：36GB+ 内存选它不会错，24GB 内存则优先低比特 GGUF。

三步启动本地推理服务

1. 安装（要求 Apple M3 或更新、macOS 26.4 或更高、已装 Homebrew）：

   brew install incoai/tap/splash

2. 启动服务（首次会自动下载目标模型 + 配套草稿，27B 4-bit 约 21 GB、35B 约 24 GB 磁盘占用，留好空间）：

   splash serve --model mlx-community/Qwen3.8-27B-4bit

3. 开始使用：终端出现Ready后保持窗口开着，浏览器打开127.0.0.1:8000使用内置聊天页，或另开终端运行：

   splash opencode # 或 splash claude / splash codex

值得一提的是，Splash 在下载任何权重之前就会用引擎自己的规则校验模型配置（model-check预检），不匹配的模型会提前告诉你原因，不会白下载几十 GB。

常用启动参数速查表

完整参数见splash serve --help与 DEVELOPMENT.md#server-options。

选型速查表（收藏这一张就够了）

常见问题（新手最容易踩的坑）

• 为什么我的模型加载失败？优先检查变体是否是UD-Q8_K_XL或 BF16——这两类暂不支持；其余 Unsloth UD 系列从UD-IQ1_S起均可加载，详见 GGUF targets 说明。
• 请求中途报resource_timeout？说明服务中的请求拿不到内存：关闭吃内存的 App，或改用--language-only降低基线占用。
• 想固定模型版本？加--revision <commit>，否则每次启动都会跟随仓库默认分支更新。
• 下载放不到默认磁盘？用HF_HUB_CACHE=/Volumes/Models/huggingface splash serve ...指定缓存位置。

最后总结：内存 36GB 以上闭眼选 MLX 4-bit；追求质量上限选 NVFP4；24GB 内存则是低比特 GGUF 的主场——按上面的速查表对号入座，三条命令就能让 Splash 在你的 Mac 上跑起来。更多细节可参考 docs/performance.md 与 DEVELOPMENT.md。