企业官网建设流程全解析

• 大模型
• 基础模型
• 人工智能
• 多模态
• AI Agent
• 本地部署

Step-5-Preview 是阶跃星辰（StepFun）面向智能体工作打造的旗舰模型：稀疏 MoE 架构、600B 总参数、27B 激活参数，支持最高 100 万 token 的上下文长度，可接收文本和图像输入。无论你是想体验它的长上下文能力，还是想把它接入自己的工作流，这篇指南都能帮你在 5 分钟内完成 Step-5-Preview 的首次调用。

Step-5-Preview 核心规格速览

先看几个关键数字，帮你建立直观认识：

其中 1M 上下文来自 config.json 中的max_seq_len: 1048576配置。这意味着你可以把一整份年报、整个代码仓库一次性喂给它，而模型在长文本检索、跨文件修改、长文档分析等任务中依然能稳定推理。

两条部署路线：选一条最省事的

Step-5-Preview 支持两条开箱即用的路线，新手建议先看这里再动手：

两种方式都用官方提供的 Docker 镜像或独立推理脚本，不需要自己改任何代码。

路线一：vLLM Docker 一键起服务（推荐）

这是最贴近生产环境的玩法：拉一个镜像、起一个容器、发一条请求。

第一步：拉取镜像并进入容器

docker pull vllm/vllm-openai:step-5-preview docker run --rm -it \ --gpus all \ --ipc=host \ --network=host \ --volume "$HOME/.cache/huggingface:/root/.cache/huggingface" \ --entrypoint /bin/bash \ vllm/vllm-openai:step-5-preview

第二步：启动 Step-5-Preview 推理服务

以 4 张 B300 的 TP4 配置为例（8 张 H200 请把--tensor-parallel-size改为 8 即可）：

export CUDA_VISIBLE_DEVICES=0,1,2,3 vllm serve stepfun-ai/Step-5-Preview \ --host 0.0.0.0 \ --port 18000 \ --served-model-name "step5" \ --tensor-parallel-size 4 \ --max-model-len 1048576 \ --gpu-memory-utilization 0.85 \ --enable-prefix-caching \ --reasoning-parser step5 \ --enable-auto-tool-choice \ --tool-call-parser step5

💡 几个关键参数解释：

• --max-model-len 1048576：开启完整 100 万 token 上下文。如果显存紧张，可先调小这个值；
• --reasoning-parser step5：正确解析推理（thinking）过程；
• --tool-call-parser step5：启用工具调用能力。

完整的并行配置（TP4 / TEP4 / DEP4）详见 README.md 的 Deployment 章节。

第三步：发送第一次请求

服务就绪后（默认地址http://localhost:18000），用一条 curl 就能跑通：

curl http://127.0.0.1:18000/v1/chat/completions \ --header 'Content-Type: application/json' \ --data '{ "model": "step5", "messages": [{"role": "user", "content": "用三句话介绍 Step-5-Preview"}], "max_tokens": 4096, "stream": true }'

看到流式输出的内容，恭喜你，Step-5-Preview 已经跑起来了 🎉 由于是 OpenAI 兼容接口，现有的openaiPython SDK、LangChain 等框架只需改base_url即可复用。

路线二：用仓库内置脚本离线生成

如果你的目标是先离线验证模型效果（比如批量跑评测 prompt），可以直接使用仓库inference/目录下的独立推理路径，完整说明见 inference/README.zh.md。

第一步：安装依赖

进入 inference/ 目录，依赖版本范围见 inference/requirements.txt：

cd inference python3 -m venv --system-site-packages .venv source .venv/bin/activate python -m pip install -r requirements.txt

第二步：把权重切分成多卡分片（只需一次）

以 FP8 权重、8 卡 TP/EP=8 为例，inference/convert.py 负责把原始 checkpoint 切成按 GPU 分片的权重：

export STEP5_FP8_CHECKPOINT="<fp8权重目录>" export STEP5_FP8_OUT="<分片输出目录>" python3 convert.py \ --checkpoint "$STEP5_FP8_CHECKPOINT" \ --tp-size 8 --ep-size 8 --check-only # 先检查权重结构 python3 convert.py \ --checkpoint "$STEP5_FP8_CHECKPOINT" \ --out-dir "$STEP5_FP8_OUT" \ --tp-size 8 --ep-size 8 # 正式切分

第三步：运行第一次生成

inference/generate.py 会按torchrun进程数自动加载对应分片，传一段 prompt 即可：

torchrun --standalone --nproc-per-node=8 generate.py \ --tp-dir "$STEP5_FP8_OUT/tp8" --ep-size 8 \ --prompt "请介绍一下张量并行。" \ --max-new-tokens 128

控制台开始逐 token 打印回复，就是第一次调用成功了。

官方推荐采样参数

发请求时建议使用官方评测所用的推理设置（来自 README.md 的 Evaluation Notes）：

另外，模型输出的推理过程会遵循 chat_template.jinja 定义的对话模板，<im_start>/<im_end>等占位标记由模板自动处理，你只管传普通messages即可。

新手常见坑：3 个注意事项

1. 显存不够就降--max-model-len：1M 上下文会消耗大量 KV cache 显存，KV cache 分配不足时服务会启动失败或拒绝长请求，调小上下文长度是最直接的解决办法。
2. FP8 和 BF16 不通用：--dtype bfloat16不会把 FP8 权重"还原"成 BF16，需要 BF16 精度就请下载对应 checkpoint 并走 BF16 部署配置。
3. 权重文件别乱动：权重索引见 model.safetensors.index.json，包含主模型、视觉编码器（model-vit-00001.safetensors）和 MTP 投机解码层；独立推理路径只加载普通生成所需的部分，MTP 层用于服务端的投机解码加速。

下一步可以做什么

• 体验图像输入：inference/目录支持图文联合生成，输入约定见 inference/README.md 的 Vision inputs 小节；
• 搭建多模态工作流：模型擅长分析长文档、图表、截图，配合工具调用（--enable-auto-tool-choice）即可组成智能体应用；
• 了解架构细节：config.json 中可以看到 92 层解码器、滑动窗口注意力与稀疏注意力混合布局等完整配置。

跟着上面的步骤，从拉镜像到看到模型回复只需要 5 分钟。祝部署顺利，玩得开心！

• 大模型
• 基础模型
• 人工智能
• 多模态
• AI Agent
• 本地部署