更贵的推理档位,得分反而低 3 分——一份独立评测里的四处反直觉
2026 年 9 月 29 日,Artificial Analysis 发布了 GPT-6.1 Sol 的独立评测。
这个模型替换掉上一代 GPT-6 Sol,间隔只有 7 天。
评测里有一个数字,我认为比它的总分更值得注意:
「We observed the xhigh effort setting to outperform the max effort setting by 3 points.」
(我们观察到 xhigh 推理档位的表现比 max 档位高 3 分。)
这是说:把推理档位调到最高,得分反而更低。
下面是我从这份评测里挑出的四处不那么直觉的地方。
一、「max 档比 xhigh 档差 3 分」
先把这几个档位说清楚。Artificial Analysis 评测模型时会跑多个「推理努力程度」设置,从低到高大致是 low / medium / high / xhigh / max。
通常的预期是单调的:档位越高,分数越高,成本越高。
而在 GPT-6.1 Sol 上,最高那一档破了这个预期:
xhigh 档 比 max 档 高 3 分而同一份评测里还有一条相关的:
「GPT-6.1 Sol (xhigh) scores 1 point above GPT-6 Astra for less than 15% of the Cost per Task.」
(xhigh 档比 GPT-6 Astra 高 1 分,而每任务成本不到它的 15%。)
所以在这一项(Coding Agent Index)上,最好的一档是 xhigh,不是 max。
一个直接可用的推论:如果你按「拉满设置」去用这个模型,你可能没有拿到它最好的成绩,同时付了更高的价钱。
这份评测没有解释为什么 xhigh 会优于 max。它只是报告了这个观察。
二、「便宜 31%」和「多用 10–30% token」是两件事
评测给了两组听起来同向、实际需要相乘的数字:
价格那一边:
| 对比对象 | GPT-6.1 Sol 的每任务成本 |
|---|---|
| GPT-6 Astra (max) | $0.72 vs $3.26—— 不到四分之一 |
| GPT-6 Sol | 便宜 31%($0.72 vs $1.05) |
| GPT-5.6 Sol | 便宜 64%($0.72 vs $1.99) |
而用量那一边:
「GPT-6.1 Sol uses ~10-30% more output tokens than GPT-6 Sol across effort levels.」
(在各个档位上,GPT-6.1 Sol 比 GPT-6 Sol 多用约 10–30% 的输出 token。)
在同一份评测里,还有一个非常具体的例子:
「GPT-6.1 Sol (max) uses ~162k output tokens per Intelligence Index task…」(见该系列的相邻评测口径)
★ 「每 token 更便宜」和「每个任务更便宜」不是同一件事。
而这份评测的处理方式是诚实的—— 它没有只说便宜,而是同时报告了用量:
「However, due to the increase in Intelligence Index score, its low and medium effort levels are Pareto optimal for token efficiency.」
(不过,由于智能指数分数提高,它的低档和中档在 token 效率上是帕累托最优的。)
「帕累托最优」在这里的意思:在同样的智能水平上,没有更省 token 的模型。
注意这个结论限定在「低档和中档」。高档位不在这个结论里。
三、涨了 80 Elo,而其中一项在下降
AA-Briefcase是这家机构的私有知识工作评测。GPT-6.1 Sol 在这一项上提高了约 80 Elo。
而这一句才是值得看的:
「This is driven by increases in its rubric score and Analytical Quality Elo, while Presentation Elo falls slightly.」
(这由评分标准和「分析质量 Elo」的提升驱动,而「呈现 Elo」略微下降。)
拆开就是:分析质量在涨,呈现质量在降,总分在涨。
这不是「模型变差了」。它说的是一个复合指标内部有两股相反的力—— 如果只看总分那 80 Elo,你看不到其中一项在下滑。
如果你的工作里「呈现」比「分析」更重要(比如要交给人看的报告),这一句比那 80 Elo 更有参考价值。
四、幻觉率降了 6 点,准确率涨了 8 点
AA-Omniscience 这一项上:
准确率 +8 点 幻觉率 60% → 54%(降 6 点)这两个方向是同向的—— 答对更多,同时编造更少。
这一点值得单独指出,因为「答对得少」和「编造得少」在有些模型上是反向的(答得少而编得少,通常意味着模型更愿意承认自己不知道)。
而在 GPT-6.1 Sol 上,两个指标同时改善。这是它这一代比较干净的一处进步。
五、还有那个「7 天」
标题是这么写的:
「GPT-6.1 Sol replaces GPT-6 Sol after just 7 days」
而同一句后面还有半句:
「…with near-Astra intelligence」
两个事实放在一起:
- 它离 GPT-6 Astra 只差 1 分
- 它离上一代 GPT-6 Sol 只有 7 天
而价格在这一代里是第二次下调(GPT-6 Sol 相对 GPT-5.6 Sol 打了五折,这一代缓存读折扣又从 90% 提到 95%)。
「7 天」这个数字本身不构成对模型的评价。但它改变了另一件事:如果你在选型,你面对的是一个每几天就要重新看的列表。
六、所以这份评测里我能拿走什么
| 结论 | 依据 |
|---|---|
| 别默认「拉满设置」 | xhigh 比 max 高 3 分 |
| 别把「每 token 便宜」当成「每个任务便宜」 | 便宜 31% 的同时多用 10–30% token |
| 别只看复合指标的涨跌 | AA-Briefcase 涨 80 Elo,而其中「呈现」在降 |
| 它离上一代只有 7 天 | 这决定了这个列表要多久看一次 |
而这四条都不是我的判断。它们分别是这份评测里同向对比的两组数字、一句限定条件、和一个标题里的日期。
核验边界
一手材料(official_sources= 1)
- Artificial Analysis,《GPT-6.1 Sol replaces GPT-6 Sol after just 7 days, with
near-Astra intelligence》,2026-09-29—
https://artificialanalysis.ai/zh/articles/gpt-6-1-sol-replaces-gpt-6-sol-after-just-7-days-with-near-astra-intelligence
(HTTP 200 全文实取)
本文引用的全部数字与引文来自该篇:Intelligence Index 的 4/5/1 分差、
Cost per Task $0.72 / $3.26 / $1.05 / $1.99 及 31% / 64% 差异、
缓存读折扣 90%→95%、token 用量 10–30%、xhigh 优于 max 3 分、
Coding Agent Index 的「高 1 分 / 不到 15% 成本」、AA-Briefcase 的 80 Elo 与
三项分项方向、AA-Omniscience 的 +8 点与 60%→54%。
⚠️ 我没有核对的地方:
$0.72那个每任务成本和162k那个 token 数:162k出自同一机构关于 Claude Haiku 5.5 的那一篇,不是这一篇。
我把它放在「同一份评测里还有一个非常具体的例子」下面时已经标注了口径来源,
但严格说,它属于另一篇文章、另一个模型—— 我没有把它当作 GPT-6.1 Sol 的数字使用,
只用来说明「每任务 token 量」这个口径的存在。这一点读者需要注意。- 「各档位」的完整定义(low / medium / high / xhigh / max 分别是什么)——
原文未展开,我也没查。上面那个从低到高的排序是我按常见命名写的,不是原文的。 - AA-Briefcase / AA-Omniscience / Coding Agent Index 的具体构造—— 未查。
- GPT-6 Astra 和 GPT-6 Sol 的发布日期—— 本文未涉及(只知道 GPT-6 Sol 与
GPT-6.1 Sol 相隔 7 天)。 - 「7 天」是从谁的发布算到谁的发布—— 原文标题说 replaces after just 7 days,
我没有核实这两个日期的原始公告。
结论层面的边界:
- 本文不评价 GPT-6.1 Sol 的好坏,也不推荐任何模型。
- 「别默认拉满设置」这条推论是我写的—— 原文只报告了 xhigh 优于 max 3 分这一观察,
没有给出这个建议,也没有解释原因。我在正文里已标明「这份评测没有解释为什么」。 - 「呈现 vs 分析哪个更重要」那段是条件性的(「如果你的工作里…」),
不是对模型的评价。
来源
- Artificial Analysis(全文实取)—
https://artificialanalysis.ai/zh/articles/gpt-6-1-sol-replaces-gpt-6-sol-after-just-7-days-with-near-astra-intelligence - Artificial Analysis 模型页 —
https://artificialanalysis.ai/models/releases/gpt-6-1-sol