企业官网建设流程全解析

NVIDIA-Nemotron-Labs-Teacher-STEM 是 NVIDIA Nemotron 3 Ultra 家族中专攻 STEM 领域的通用推理大模型（总参数 550B / 激活 55B），它的推理模式由三个核心参数掌控：enable_thinking、medium_effort和reasoning_budget。本文是一份完整的推理模式使用指南，带你从开关思考、降低 token 消耗到精确控制思考长度，逐项讲透这三个参数的用法与最佳实践。

1️⃣ 先认识：为什么它是"推理模型"？

NVIDIA-Nemotron-Labs-Teacher-STEM采用 LatentMoE 混合架构（Mamba-2 + MoE + Attention），并内置 Multi-Token Prediction（MTP）层以加速生成，上下文长度最高支持 1M tokens。它的响应流程分为两部分：

• 推理轨迹（reasoning trace）：包裹在...标签内，展示模型"打草稿"的思考过程
• 最终答案（content）：</think>之后的正式回复

部署时，vLLM / SGLang / TensorRT-LLM 等框架会使用专门的reasoning parser把两部分拆分到不同字段，客户端因此可以自由决定是否展示思考过程。

👉 更多模型背景可查看 README.md 的 Model Summary 部分，架构参数详见 config.json。

2️⃣ enable_thinking 快速上手：一键切换思考开与关

这是最基础的开关。不传该参数时默认为True（思考开启），这一默认值写在 chat template 的第 12 行：

chat_template.jinja：{%- set enable_thinking = enable_thinking if enable_thinking is defined else True %}

它的原理非常巧妙：在生成提示词的末尾追加不同"后缀"——

• enable_thinking=True→ 末尾追加...，引导模型进入思考（见 chat_template.jinja）
• enable_thinking=False→ 末尾直接追加</think>，思考通道被"预先关闭"，模型会跳过推理直接作答

关闭思考的调用示例（OpenAI 兼容 API）：

response = client.chat.completions.create( model="nvidia/nemotron-3-ultra", messages=[{"role": "user", "content": "What is the capital of Japan?"}], max_tokens=16000, temperature=1.0, top_p=0.95, extra_body={"chat_template_kwargs": {"enable_thinking": False}} )

怎么选？

💡 官方推荐的采样参数为temperature=1.0, top_p=0.95，采样默认值也可参考 generation_config.json。

3️⃣ medium_effort 详解：思考"减量不减质"的均衡模式

medium_effort=True是介于"全量思考"与"关闭思考"之间的均衡档位，使用的推理 token 显著少于完整思考模式，官方 README 建议在调优显式 token 预算之前，先把它当作起点。

它的实现同样藏在 chat template 里：开启后，模板会在最后一条用户消息末尾自动追加一段指令（见 chat_template.jinja）：

{reasoning effort: efficient}

相当于告诉模型"本题请用高效模式思考"，无需修改任何 prompt 内容。

调用示例：

response = client.chat.completions.create( model="nvidia/nemotron-3-ultra", messages=[{"role": "user", "content": "What is the capital of Japan?"}], max_tokens=16000, temperature=1.0, top_p=0.95, extra_body={"chat_template_kwargs": { "enable_thinking": True, "medium_effort": True }} )

📌 注意：medium_effort只影响当前这一轮（最后一条用户消息），历史消息不受影响。

4️⃣ reasoning_budget 实战：用 token 预算精确控制思考长度

如果说medium_effort是"软性"减量，reasoning_budget就是硬性天花板——以 token 数限制推理轨迹的最大长度。

工作机制（来自 README.md Quick Start Guide）：

1. 模型生成到预算上限时，会尝试在预算内的下一个换行处收尾推理轨迹；
2. 若 500 tokens 内没找到换行点，则在reasoning_budget + 500处强制截断并补上</think>。

实现上采用两步生成（客户端封装，完整实现见 README 的ThinkingBudgetClient）：

• 第一步：以max_tokens=reasoning_budget生成推理轨迹；若缺少</think>，客户端自动补上
• 第二步：把闭合并的推理轨迹追加进对话，用剩余预算（max_tokens - 已用推理 token）继续生成最终答案

关键约束：reasoning_budget必须小于max_tokens，否则直接断言报错。

使用示例（32-token 的思考预算，答案预算 512 tokens）：

result = client.chat_completion( model="nvidia/nemotron-3-ultra", messages=[ {"role": "system", "content": "You are a helpful assistant. /think"}, {"role": "user", "content": "What is 2+2?"}, ], reasoning_budget=32, # 思考轨迹最多 32 个 token max_tokens=512, # 总预算：思考 + 答案 temperature=1.0, top_p=0.95, )

5️⃣ 正确解析思考内容：reasoning parser 与 force_nonempty_content 避坑

各推理框架的 parser 配置（部署时务必加上，否则思考内容不会被拆分）：

仓库内还附带了 ultra_v3_reasoning_parser.py，它是 DeepSeek-R1 解析器的增强版，专门解决一个经典坑：

当enable_thinking=False或force_nonempty_content=True时，如果解析不到</think>结束标签（比如推理被长度截断），原版解析器会把所有内容都塞进思考字段，导致答案 content 为空。增强版会将内容全部放入答案字段，保证用户永远能看到回复（见 ultra_v3_reasoning_parser.py）。

两个高频使用组合：

• 工具调用（SGLang 必需）：请求体中必须传"chat_template_kwargs": {"enable_thinking": true, "force_nonempty_content": true}，才能同时正确解析推理与 tool call
• 编程 Agent：官方建议在 API 调用中追加extra_body={"chat_template_kwargs": {"force_nonempty_content": True}}，避免长推理耗尽长度后拿到空答案

6️⃣ 常见场景参数组合速查表

7️⃣ 常见问题 FAQ

❓ Q1：为什么返回的答案 content 是空的？

A：通常是推理轨迹被长度上限截断、缺少</think>结束标签所致。开启force_nonempty_content: True后，解析器会把内容强制放入答案字段（见 ultra_v3_reasoning_parser.py 的注释说明）。

❓ Q2：SGLang 上工具调用解析失败？

A：SGLang 的工具调用场景要求显式传入chat_template_kwargs：{"enable_thinking": true, "force_nonempty_content": true}，详见 README.md 的 SGLang 章节。

❓ Q3：多轮对话中历史思考过程会被保留吗？

A：默认不会保留。模板中truncate_history_thinking默认为True（见 chat_template.jinja），会剪掉历史轮次的推理轨迹以节省 token；如需完整保留，传入truncate_history_thinking: False。

❓ Q4：为什么我不用传 enable_thinking 模型就在"思考"？

A：因为默认值就是True。想让模型直接作答，必须显式传enable_thinking: False。

8️⃣ 相关文件路径速查

• README.md：部署指南、API 示例与reasoning_budget完整实现
• chat_template.jinja：推理开关、medium_effort指令注入与历史思考裁剪的核心逻辑
• ultra_v3_reasoning_parser.py：空答案保护机制的推理解析器
• config.json：模型架构与上下文长度参数
• generation_config.json：采样默认值（如top_p=0.95）
• tokenizer_config.json / special_tokens_map.json：分词器与特殊 token 配置
• safety.md / explainability.md / bias.md / privacy.md：模型安全、可解释性与合规子文档

🎯一句话总结：enable_thinking管"要不要思考"，medium_effort管"思考多精简"，reasoning_budget管"思考最多多长"——三者配合，就能在这款 550B 推理模型上实现质量与成本的最优平衡。