企业官网建设流程全解析

NeoHorse-1 是 TokenRhythm 开源的 Agent 原生大语言模型家族（Apache 2.0 许可），提供 4B / 9B 两个版本，主打智能体任务、工具调用、编码与指令遵循。本教程带你用 5 分钟完成 NeoHorse-1 本地部署：下载模型权重 → 启动推理服务 → 发出首次对话，全程只需几条命令。

部署前准备：硬件与环境清单

• 一台带 NVIDIA GPU 的机器：4B 版本适合轻量本地部署，9B 版本能力更强、显存需求更高
• Python 3 环境 + pip
• 充足的磁盘空间（BF16 权重体积较大；显存紧张可改用官方 8/5/4-bit 量化 GGUF 版本）

建议先把示例脚本仓库克隆到本地，后面的脚本会直接用到：

git clone https://gitcode.com/gh_mirrors/ne/NeoHorse

NeoHorse-1 评测成绩单：为什么值得本地部署

NeoHorse-1 基于 Qwen3.5 经"路由框架 + 智能体后训练"打磨而成：4B 版十项基准平均分 64.87、9B 版达 69.04，在同尺寸开源模型中全面领先。下图是 4B 赛道各基准得分（橙色斜纹柱为 NeoHorse-1-4B），可见它在 τ²-Bench、PinchBench、HumanEval 等任务上的优势：

更多训练与评测细节可查阅技术报告 TechnicalReport_NeoHorse_v1.pdf。

第1步：下载 NeoHorse-1 模型权重（约2分钟）

两个 checkpoint 均在 Hugging Face 与 ModelScope 上架，任选其一即可。以 4B 为例：

方式一：huggingface-cli

pip install -U huggingface_hub huggingface-cli download TokenRhythm/NeoHorse-1-4B

方式二：modelscope CLI

pip install -U modelscope modelscope download --model TokenRhythm/NeoHorse-1-4B

💡 小提示：

• 显存有限？官方同时发布了GGUF 量化版（NeoHorse-1-4B-GGUF / NeoHorse-1-9B-GGUF），包含 16-bit 及 8/5/4-bit 多种规格，省磁盘、省显存
• Apple 芯片用户可选对应的 MLX 版本

第2步：用 vLLM 一键启动推理服务

权重下载到本地后，用 vLLM 起服务：

pip install -U vllm vllm serve /path/to/NeoHorse-1-4B \ --served-model-name neohorse-1-4B \ --host 0.0.0.0 --port 8000 \ --max-model-len 262144 \ --reasoning-parser qwen3 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder

⚙️ 关键参数说明：

• --max-model-len：最大上下文长度。原生支持 262,144 token，显存不够就调小（例如 32768）
• --reasoning-parser qwen3+--tool-call-parser qwen3_coder：分别开启思考模式解析与工具调用解析
• 部署 9B：把路径和--served-model-name换成neohorse-1-9B即可
• 偏爱 SGLang 的同学可直接参考 README.md 中的 SGLang 启动命令（端口为 30000）

第3步：发出第一次对话请求 🎉

终端显示服务已监听后，先用 curl 试一发：

curl http://127.0.0.1:8000/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"model":"neohorse-1-4B","messages":[{"role":"user","content":"你是谁？"}],"max_tokens":512}'

只要返回 JSON 里出现了模型回复，你的 NeoHorse-1 首次对话就跑通了！

也可以直接运行仓库自带的 Python 示例（自动开启思考模式并打印完整回复）：

pip install requests python examples/chat.py --url http://127.0.0.1:8000 --model neohorse-1-4B

脚本逻辑简单，源码在 examples/chat.py，适合初学者照着写自己的客户端。

进阶玩法：让 NeoHorse-1 调用工具

工具调用是 NeoHorse-1 的招牌能力。官方示例 examples/tool_call.py 预置了一个"查询天气"函数，当模型收到"北京现在天气怎么样？"这类问题时，会自动生成标准 tool call：

python examples/tool_call.py --url http://127.0.0.1:8000 --model neohorse-1-4B

换成 9B 版本后效果更佳——它的 τ²-Bench 工具调用得分高达 90.82，在 9B 赛道评测图中一骑绝尘：

常见问题速查表

延伸阅读

• 完整部署说明：README.md
• 技术报告：TechnicalReport_NeoHorse_v1.pdf
• 示例脚本：examples/chat.py、examples/tool_call.py