企业官网建设流程全解析

1. Qwen3 技术报告里最值得动手复现的三块设计

Qwen3 技术报告公开后，我第一时间把 PDF 拉下来通读了一遍。它开源了 6 个 Dense 模型（0.6B、1.7B、4B、8B、14B、32B）和 2 个 MoE 模型（30B-A3B、235B-A22B），报告里真正对开发者有落地价值的，集中在模型架构、预训练三阶段、后训练四步这三块。模型架构决定了你能不能在自己的显卡上跑起来，预训练决定了模型的知识边界和上下文能力，后训练决定了它在思考模式和非思考模式之间怎么切换、推理链怎么控制。这篇不打算复述论文结论，而是把报告里的关键设计拆成可运行的配置，让你在本地或云端真正把推理链路跑通。

适合谁看：手里有一张 24G 显存的卡、想跑 Qwen3-8B 或 14B 的开发者；正在做 Agent 或 RAG、需要稳定调用思考模式的工程师；以及想把技术报告里的架构结论落到 settings.json 和 config.toml 里的人。下面从架构差异讲起，再给一套统一 Key 的接入配置，最后做一次端到端验证。

2. 模型架构：Dense 与 MoE 的关键差异

2.1 Dense 模型改了什么

Qwen3 的 Dense 系列架构与 Qwen2.5 基本同源，保留了 GQA（分组查询注意力）、SwiGLU 激活、RoPE 旋转位置编码，以及 pre-normalization 的 RMSNorm。真正的改动有两处：一是移除了 Qwen2 里的 QKV 偏置，二是注意力机制中引入了 QK-Norm。QK-Norm 的作用是约束 query 和 key 的数值范围，避免训练后期注意力 logits 爆炸，这对长上下文阶段的稳定性尤其重要。如果你在做微调，这两处改动意味着不能直接复用 Qwen2.5 的权重初始化脚本。

2.2 MoE 模型的专家设计

Qwen3-MoE 采用细粒度专家分割，共 128 个专家，每次激活 8 个。与 Qwen2.5-MoE 最大的不同是去掉了共享专家（shared expert），同时引入全局批次负载平衡损失。去掉共享专家的好处是路由更纯粹，坏处是对负载均衡更敏感，所以那个全局批次级别的平衡损失不是可选项，而是训练能收敛的前提。对推理侧来说，MoE 的显存占用和激活参数量是两回事：30B-A3B 总参 30B，但每 token 只激活约 3B，实际推理成本接近一个 3B Dense 模型，但显存要装下全部专家权重。

注意：MoE 模型不要按激活参数量估算显存，权重是全量加载的，30B-A3B 在 FP16 下光权重就约 60GB，消费级卡必须走量化或云端。

3. 预训练三阶段对推理配置的启示

报告里预训练数据共 36T Tokens，覆盖 119 种语言和方言，其中一部分是 Qwen2.5-VL 对大量 PDF 做 OCR、再用 Qwen2.5 做文本优化得到的高质量语料。整个预训练分三段，这三段直接决定了你调用时的参数选择。

通用阶段在 30T Tokens 上训练，最大长度 4096，模型在这里完成语言能力和世界知识的基础训练。推理阶段在 5T Tokens 上训练，提高了 STEM、代码、推理和合成数据的比例，同时加速学习率衰减，最大长度仍是 4096。长上下文阶段用高质量长语料把上下文扩展到 32768，其中 4096 到 16384 长度数据占 25%，16384 到 32768 占 75%，并把 RoPE 基础频率从 10000 提到 1000000，引入 YARN 和双重块注意力。

对你的配置意味着什么：如果你的任务以短问答和代码补全为主，max_tokens 和上下文窗口按 4096 配就够，没必要开长上下文，省显存也省延迟。如果做长文档 RAG 或整仓库代码分析，才需要把上下文拉到 32768，并且要确认推理框架支持 YARN 缩放，否则位置编码会外推失真。RoPE base 从 1e4 到 1e6 这个改动，在 vLLM 或 SGLang 里通常通过 rope_scaling 参数体现，配错了会出现长文本后半段答非所问。

4. 后训练四步与思考模式控制

后训练是报告里信息密度最高的部分，核心目标有两个：思考控制，以及强到弱蒸馏。思考控制把非思考和思考两种模式融合进同一个模型，用户可以通过标记和思考预算控制推理深度。强到弱蒸馏则用大模型的知识去优化小模型的后训练，包含离线数据蒸馏和在线 logits 蒸馏。

流程上分四步。第一步 CoT 冷启动，数据来自数学、代码、逻辑推理和通用 STEM 问题，经过 Query 和 Response 两层过滤：Query 层用 Qwen2.5-72B-Instruct 剔除不易验证的问题和无需 CoT 就能答对的问题，Response 层用 QwQ-32B 生成 N 个候选，对一直答不对的做人工标注，并移除答案错误、大量重复、明显猜测、推理与总结不一致、语言风格混用、疑似与验证集过近的样本。第二步推理强化学习，用 GRPO 更新，大 Batch Size、每 Query 多 Rollout，数据 3995 条，要求冷启动未用过、对冷启动模型可学习、尽量有挑战性、覆盖广泛子领域。第三步思考模式融合，对推理强化模型做持续 SFT，设计聊天模板融合两种模式，引入 /think 和 /no_think 标记，非思考模式会保留一个空的思考块。第四步通用强化学习，覆盖 20 多个任务，含指令遵循、格式遵循、偏好对齐、代理能力和特定场景能力，奖励分基于规则、基于模型带参考答案、基于模型无参考答案三类。

思考预算的控制机制值得单独说：当模型思考长度达到阈值时，会插入停止思考指令，让它基于已有推理直接给答案。原文的停止指令是：

考虑到用户的时间限制，我必须根据目前的思考直接给出解决方案。 </think>.

这意味着你在调用时可以通过控制 max_tokens 或专门的 thinking budget 参数来限制推理长度。实测下来，把思考预算压到 512 token 以内，简单任务的延迟能降一半以上，但复杂数学题的正确率会掉，需要按场景权衡。

5. 用统一 Key 接入 Qwen3 推理链路

5.1 为什么走统一 Key

本地跑 Qwen3-8B 没问题，但一旦要对比 235B-A22B 或者做多模型路由，本地显存就不够了。这时候用统一的 API 入口最省事，一套 Key 覆盖多个模型，配置只写一次。TaoToken 的 API 地址是 https://taotoken.net/api，官网在 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。先去控制台创建 Key，地址是 https://taotoken.net/console?utm_source=taotoken_aicg_blog_end&utm_content=console&utm_campaign=rewrite ，Key 管理页在 https://taotoken.net/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=api-keys&utm_campaign=rewrite 。

5.2 settings.json 骨架

如果你用 Claude Code 或类似的 CLI 工具，settings.json 里这样配：

{ "env": { "ANTHROPIC_BASE_URL": "https://taotoken.net/api", "ANTHROPIC_AUTH_TOKEN": "sk-你的Key", "ANTHROPIC_MODEL": "qwen3-235b-a22b", "ANTHROPIC_SMALL_FAST_MODEL": "qwen3-8b" }, "permissions": { "allow": ["Bash", "Read", "Write"] } }

大模型走 235B-A22B 保证推理质量，小模型走 8B 处理轻量任务，成本和质量能兼顾。Claude Code 的接入文档在 https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_content=doc&utm_campaign=rewrite ，ClaudeCodeAnthropic 专项说明在 https://taotoken.net/ClaudeCodeAnthropic?utm_source=taotoken_aicg_blog_end&utm_content=ClaudeCodeAnthropic&utm_campaign=rewrite 。

5.3 config.toml 骨架

如果你用 OpenAI 兼容的客户端或自己写的 Python 脚本，config.toml 这样写：

[provider] name = "taotoken" base_url = "https://taotoken.net/api" api_key = "sk-你的Key" [model] default = "qwen3-235b-a22b" fallback = "qwen3-14b" thinking_mode = true thinking_budget = 1024 max_tokens = 4096 temperature = 0.6 [model.long_context] enabled = false max_context = 32768 rope_scaling = "yarn"

thinking_mode 对应报告里的思考模式，thinking_budget 对应思考预算控制，long_context 段对应预训练第三阶段的长上下文能力，只有做长文档任务时才打开。

6. 端到端调用验证

配置写完必须验证，不然报错都不知道错在哪。先用 curl 打一发：

curl https://taotoken.net/api/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer sk-你的Key" \ -d '{ "model": "qwen3-235b-a22b", "messages": [ {"role": "user", "content": "/think 一个水池有甲乙两个进水管，甲单独注满需6小时，乙单独注满需4小时，两管同时开，多久注满？"} ], "max_tokens": 1024, "temperature": 0.6 }'

预期返回里能看到思考块和最终答案分离的结构，思考块对应 /think 触发的推理链，最终答案在思考块之后。如果返回里思考块为空，说明模型走了非思考模式，检查请求里是否正确带了 /think 标记。

再用 Python 验证一次，顺便测思考预算控制：

from openai import OpenAI client = OpenAI( base_url="https://taotoken.net/api/v1", api_key="sk-你的Key" ) resp = client.chat.completions.create( model="qwen3-235b-a22b", messages=[ {"role": "user", "content": "/think 用一句话解释 QK-Norm 的作用"} ], max_tokens=512, temperature=0.6 ) print(resp.choices[0].message.content)

成功的话你会看到模型先输出一段推理，再给结论。把 max_tokens 从 512 调到 128，再跑一次，能明显看到思考被截断、答案变简短，这就是思考预算在起作用。想直接在网页里对比不同模型的表现，可以用模型对话页 https://taotoken.net/models?utm_source=taotoken_aicg_blog_end&utm_content=models&utm_campaign=rewrite ，切换 Qwen3 各尺寸模型看输出差异。

7. 本篇常见报错排查

7.1 401 或鉴权失败

最常见的是 Key 没带 Bearer 前缀，或者 Key 复制时带了空格。检查 Authorization 头是不是Bearer sk-xxx格式，Key 前后不要有换行。如果用的是 settings.json，确认 ANTHROPIC_AUTH_TOKEN 字段名没写错。

7.2 长上下文答非所问

如果你开了 32768 上下文但没配 rope_scaling，模型在长文本后半段会开始胡言乱语。这是预训练第三阶段 RoPE base 从 1e4 提到 1e6 带来的直接后果，推理框架必须支持 YARN 缩放。在 config.toml 里把 rope_scaling 设为 "yarn"，或者干脆把 long_context.enabled 关掉，用 4096 窗口分段处理。

7.3 思考模式不生效

请求里带了 /think 但返回没有思考块，通常是模型名写错了，或者客户端把 /think 当成了普通文本。确认 model 字段是 qwen3 系列，且 /think 标记放在 user message 内容的最前面。另外，非思考模式会保留一个空的思考块，这是报告里明确的设计，不是 bug。

7.4 MoE 模型显存溢出

本地加载 Qwen3-30B-A3B 时按 3B 激活参数估显存，结果 OOM。前面说过，MoE 权重是全量加载的，30B 参数 FP16 约 60GB。消费级卡要么用量化版本，要么直接走云端 API。如果长期做编码和 Agent 任务，Coding Plan 在 https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_content=coding-plan&utm_campaign=rewrite ，按用量计费比自建划算。

7.5 蒸馏相关配置误解

报告里的强到弱蒸馏是训练侧技术，不是推理侧参数。你在调用小模型时不需要配任何蒸馏相关字段，离线蒸馏已经体现在权重里，在线蒸馏的 logits 对齐是训练时的事。别在 config.toml 里加 distill 之类的字段，框架不认。

把上面这套配置跑通之后，你可以拿同一个问题分别打 8B、14B、235B-A22B，对比思考链的长度和答案质量，就能直观感受到报告里说的强到弱蒸馏到底把差距缩小了多少。我自己的经验是，14B 在代码补全上已经够用，但涉及多步推理还是得 235B-A22B，这个分界线比参数量的差距要小得多。