35B 也配叫 Agent 模型?对"参数即实力"的一次清算
【免费下载链接】Nex-N2.5-mini项目地址: https://ai.gitcode.com/hf_mirrors/nex-agi/Nex-N2.5-mini
"万亿参数"曾是大模型世界最响亮的军备竞赛号角。从 GPT-3 的 1750 亿参数,到各家旗舰动辄数百亿乃至上万亿的 MoE 架构,一个隐形的等式被反复强化:参数越多 = 能力越强 = 越配称为"前沿模型"。但 Agent 时代到来后,这个等式开始出现裂缝。当评价维度从"一句话回答得漂不漂亮"转向"能不能在一个真实环境里连续行动、调用工具、根据反馈自我纠错、最终把任务做完"时,模型的能力地图被彻底重绘了。
本文要做的,就是借 Nex-N2.5 家族中最小的成员——Nex-N2.5-mini(总参数约 350 亿量级)——对"参数即实力"进行一次基于证据的清算:35B 到底配不配叫 Agent 模型?Agent 任务的能力究竟来自哪里?以及,mini 档的定位哲学能给选型带来什么启发。
参数即实力:一条正在失效的旧叙事
规模法则(Scaling Law)曾经是行业唯一的主旋律:更多的参数、更多的数据、更多的算力,带来更平滑的能力曲线。这种叙事在预训练阶段大体成立,也因此在很长一段时间里,"参数量"成为各家发布会最抢眼的营销数字。哪怕是 Nex-N2.5 家族自己,也保留了完整的"大中小"梯度——README.md 中明确记载:Nex-N2.5-Max 是建立在 1.6 万亿参数、纯文本 MoE 基座之上的模型,需要双节点 16×H200 才能跑起来。
但注意一个细节:同在 README.md 中,Nex-N2.5 的定位被写成"built for long-horizon tasks in real-world environments"(为真实环境中的长程任务而构建),而不是"更大的模型"。这个定位的转变本身就是行业风向的注脚。社区对 Nex-N2 系列的观察也印证了这一点:该系列的优势集中在 SWE-Bench、Terminal-Bench 等 Agent 类基准上,而在通用推理与深度工程任务中与头部模型仍有差距——换言之,参数的含金量正在被"任务类型"重新定价。
参数崇拜失灵的另一个佐证来自量化实践。Nex-N2-mini 的原始权重约 70.2GB(model.safetensors.index.json 中 total_size 为 70,214,363,872 字节,配合 config.json 的 bfloat16 精度,对应约 350 亿参数),而社区实测通过 mlx-optiq 的 3/6 位混合量化可将其压缩到约 17.8GB、峰值内存约 17.9GB、推理速度约 50 tokens/秒。参数规模在压缩前后的"能力保真度",远比"参数数量"这个静态数字更接近模型价值的真相——当然,这取决于模型是否值得被压缩,而 Agent 能力恰恰是量化后最容易被稀释的部分,这就要说到 Agent 任务的真实瓶颈了。
Agent 任务的真实瓶颈:稳定、闭环、工具调用
一个 Agent 模型的日常工作流是这样的:接收任务 → 规划 → 调用工具(执行命令、读写文件、搜索网页)→ 接收环境反馈 → 修正计划 → 再次行动……如此循环直到任务完成。在这个循环里,单轮"答对一道题"的静态能力几乎派不上用场,真正决定成败的是三个东西:长上下文下的稳定性、工具调用的格式纪律、以及闭环迭代中的自我纠错能力。
35B 的"含金量"从哪来
打开 config.json,Nex-N2.5-mini 的架构选择透露出它为 Agent 任务做的定向设计:
- MoE 稀疏激活:
num_experts: 256、num_experts_per_tok: 8,每 token 只激活 256 个专家中的 8 个,配合共享专家(shared_expert_intermediate_size: 512)。这是"35B 总量、低成本部署"的技术底座——总量虽小,但每层都在做"定向专家路由"而非全员前向。 - 线性注意力与全注意力交替:40 层文本层中,
layer_types清晰地呈现出"3 层 linear_attention + 1 层 full_attention"的交替结构,共 10 层全注意力、30 层线性注意力(full_attention_interval: 4)。在max_position_embeddings: 262144(26 万上下文)下,这种混合注意力是控制 KV Cache 与算力成本的关键手段——长程 Agent 任务动辄积累数万 token 的工具调用记录与日志,纯全注意力在 35B 量级根本扛不住。 - 多 token 预测(MTP):
mtp_num_hidden_layers: 1,为推理加速与代码生成这类高吞吐场景服务。 - 多模态感知闭环:
vision_config显示 27 层视觉编码器、patch size 16、temporal patch size 2,配合 preprocessor_config.json 中 Qwen3VLProcessor 的长边 16M/短边 65K 像素上限——这不是为了"看图聊天",而是为了让模型能"看"电脑屏幕、验证操作结果,即 README.md 所说的"vision is no longer merely an input modality"(视觉不再只是输入模态,而是 Agent 感知环境、验证结果的关键接口)。
这些设计组合在一起,构成了一台为"行动"而非"回答"优化的引擎。
工具调用的格式纪律:从模板到运行时
Agent 能力的另一个关键在"格式纪律"——模型输出的工具调用必须机器可解析,否则整个闭环在第一环就断裂。chat_template.jinja 把这个纪律写进了模板层:
- 工具调用使用严格的 XML 结构:
<tool_call><function=名称><parameter=参数名>值</parameter></function></tool_call>,模板甚至要求"函数调用之前可以有自然语言推理,但之后不允许",以约束输出格式; - 工具结果统一包裹在
<tool_response>标签中回填对话,模板用multi_step_tool逻辑在消息序列中定位真正的用户查询(跳过工具响应),保证多轮工具循环时角色边界不混乱; - 思考过程用
<think>标签包裹,reasoning_effort三档控制思考强度(none直答、medium自适应思考、high总是思考),README.md 中的部署命令进一步把--tool-call-parser qwen3_coder与--reasoning-parser qwen3作为标准配置——思考轨迹与最终回答、工具调用在运行时被拆分成不同流,而不是糊成一团。
换句话说,这个 35B 模型从模板到推理引擎,每一步都在为一个词服务:可闭环。这与社区对 Nex 系列的判断一致——它的模型能力依赖定制 SGLang 框架、推理解析器与调度策略,强调的是"真实任务稳定性而非单轮回答质量"。
用数据说话:在 Agent 赛道上,35B 能赢谁
空谈架构没有说服力,README.md 的基准表给出了可以对照的硬数据。下表列出 Nex-N2.5-mini 与家族内更大成员及外部头部模型的部分成绩:
| 基准 | Nex-N2.5-mini | Nex-N2.5-Pro | Nex-N2.5-Max | Claude Opus 5 | GPT-5.6 Sol |
|---|---|---|---|---|---|
| Terminal-Bench 2.1(终端操作) | 73.4 | 82.7 | 86.1 | 89.1 | 88.8 |
| SWE-Bench Pro(软件工程) | 43.8 | 61.2 | 65.7 | 79.2 | 64.6 |
| Toolathlon Verified(工具调用) | 54.6 | 68.5 | 74.7 | 76.5 | 74.9 |
| BrowseComp(浏览检索) | 83.4 | 89.7 | 92.6 | 90.8 | 90.4 |
| OSWorld-G(电脑操作) | 82.9 | 87.4 | — | 76.8 | 77.7 |
| Job Bench(工作自动化) | 28.5 | 41.4 | 53.6 | 65.7 | 45.4 |
(粗体为该项最佳;数据来源见 README.md 的评测说明,采样参数为 temperature 0.7 / top_p 0.95 / top_k 40。)
读这张表需要双重眼光:
一方面,35B 在 Agent 类任务上的表现确实"反参数直觉"。OSWorld-G 上,Nex-N2.5-mini 以 82.9 分超过 Claude Opus 5 的 76.8 与 GPT-5.6 Sol 的 77.7——这是更小的模型在"操作真实电脑"这类长程闭环任务上正面击败更大对手的罕见案例。BrowseComp 83.4、Toolathlon 54.6、Terminal-Bench 73.4,也都处于一个有竞争力的区间。社区对 Nex-N2-mini 的评价——"在 BrowseComp、SWE-Bench 等基准中表现优异"——有数据支撑。
另一方面,这张表也是一次诚实的"清算"。同样来自 README.md:SWE-Bench Pro 43.8 对 79.2、Job Bench 28.5 对 65.7,多模态侧 SWE-MM 25.5 对 59.4——在需要深度工程推理与通用理解的赛道上,mini 与万亿级选手的差距是实打实的。社区评论"在通用推理与深度工程任务中仍有差距"并非客套,而是这张表的注脚。
结论因此是清晰的:Nex-N2.5-mini 的强项不是"什么都会一点",而是"在 Agent 工作流所要求的稳定、闭环、工具调用维度上,以 35B 的总量打出了超出规模的成绩"。参数规模在这些任务上不再是首要变量,训练目标、架构设计与运行时的配合才是。
mini 档的定位哲学:够用且可控
如果说上面的数据回答了"配不配",那么剩下的问题就是"为什么要有 mini"。README.md 给出的部署矩阵本身就构成一张定位图:
- Nex-N2.5-Max:双节点 16×H200,面向文本推理极值;
- Nex-N2.5-Pro:单节点 8×H100,多模态电脑操作主力;
- Nex-N2.5-mini:单节点2×H100,TP=2 即可起服务。
35B 的意义在于它把"Agent 能力"的准入门槛从"一个机柜"降到了"两张卡"。社区实践进一步把这个门槛往下压:GGUF 量化 + MNN 框架的安卓端落地、Q4_K_M 量化下的端侧推理对比、MLX 3/6 位混合量化到 17.8GB 的 Apple Silicon 部署——这些围绕 Nex-N2-mini/N2.5-mini 展开的社区工程,本质上都是在论证同一个命题:当模型能力不再与参数规模强绑定,端侧与边缘场景才第一次配得上"Agent"这个头衔。
这种"够用且可控"的定位哲学,与社区总结的 Nex 系列技术画像完全吻合:bfloat16 精度、模块化 safetensors 结构、Hugging Face / SGLang 生态兼容、低技术债务与短部署周期。它放弃了"全能"的叙事,换取了可复现、可微调、可下沉的工程现实——对一个开源模型来说,后者往往比一个虚高的跑分更有价值。
结论:把"参数"从 Agent 模型的 KPI 里拿掉
回到标题的问题:35B 配不配叫 Agent 模型?答案是:在 Agent 任务的坐标系里,配;在通用深度推理的坐标系里,不配。而"配不配"这件事本身,恰恰证明了参数规模不是衡量 Agent 模型的正确刻度。
Nex-N2.5-mini 用 35B 的总量、每 token 仅激活 8/256 专家的稀疏架构、10+30 的混合注意力、严苛的工具调用模板与三档思考控制,在 OSWorld-G、BrowseComp、Toolathlon 这类长程闭环任务上交出了接近甚至超过更大模型的成绩;同时它也大方地把 SWE-Bench Pro 43.8 这样的短板摆在了同一张表上。这种"定向强 + 坦诚弱"的姿态,比任何"全面碾压"的宣传都更接近工程现实。
对从业者而言,真正的收获不是"该不该买 35B",而是一套新的选型思维:先问任务是不是长程、闭环、工具密集的 Agent 场景,再问自己的算力与部署边界,最后才轮到参数规模。当 Agent 成为大模型的主战场,"参数即实力"的旧叙事,是时候让位给"闭环即实力、稳定即实力、单位算力产出即实力"了。而一个 35B 的模型,恰好就是这场清算最好的证人。
【免费下载链接】Nex-N2.5-mini项目地址: https://ai.gitcode.com/hf_mirrors/nex-agi/Nex-N2.5-mini
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考