企业官网建设流程全解析

如何搭建自己的模型排行榜？基于Superhuman数据的完整实战

【免费下载链接】superhuman项目地址: https://gitcode.com/GitHub_Trending/sup/superhuman

superhuman仓库是 Google DeepMind Superhuman Reasoning 团队开源的数学评测数据集，包含 IMO-Bench 基准题库、1000 条人类评分样本和海量 Lean 形式化证明。本文就用这套真实数据带你一步步搭建自己的AI 模型排行榜：从获取数据集、批量跑模型，到自动评分和生成榜单图表，全程只需要一台笔记本和一个模型 API Key，无需任何 GPU 集群。

一、为什么用 Superhuman 数据搭排行榜？

自建模型排行榜（Model Leaderboard）的核心是一套难度足够、可自动评分、有参考解答的题库。superhuman 仓库恰好三件套齐全：

先把仓库克隆到本地：

git clone https://gitcode.com/GitHub_Trending/sup/superhuman

二、获取数据：先认识 4 份核心 CSV

排行榜搭建前，建议先花 10 分钟读懂数据。四份数据集分工明确：

⚠️注意版本：imobench/README.md 明确说明answerbench_v2.csv和proofbench_v2.csv修复了旧版的歧义题与笔误，旧版已弃用——搭榜时务必用 v2，否则排名结果会和官方榜单对不上。

题目覆盖代数、几何、组合、数论四大板块，细分类别分布参考下图：

三、实战第 1 步：批量跑模型、收集作答

AnswerBench 每行包含 6 个字段：Problem ID（题号）、Problem（题目）、Short Answer（标准答案）、Category/Subcategory（分类）、Source（来源赛事）。

流程很简单：读 CSV → 把题目喂给模型 → 把回答按题号落盘。用 Python 的csv模块几行就能搞定：

import csv with open("imobench/answerbench_v2.csv", encoding="utf-8") as f: rows = list(csv.DictReader(f)) # 400 道短答题 for row in rows: answer = call_model_api(row["Problem"]) # 换成你的模型 API 调用 save(row["Problem ID"], row["Category"], answer)

三个让榜单更有说服力的细节：

• 📌统一提示词：所有模型用完全相同的 prompt 与参数，这是排行榜公平性的前提；
• 📌记录元信息：模型版本、推理参数、运行日期都写进结果文件，保证榜单可复现；
• 📌短答归一化：提交前把$3$、3、(3)这类格式差异统一，能避免大量"格式性失分"。

四、实战第 2 步：自动评分与人工校准

评分是排行榜最容易翻车的一环，分两条线：

短答题（AnswerBench）：答案归一化后直接精确匹配Short Answer字段即可，零成本、零歧义。

证明题（ProofBench）：CSV 中每题都附Grading guidelines评分细则（Partial / Almost / Correct 分档标准），用 LLM 对照细则打"部分分"。此时 imobench/gradingbench.csv 派上大用场——它提供 1000 条(题目, 作答, 人类给分 Points, 奖励分 Reward)样本，正好用来验证你的自动评分器和人类评委是否"同频"。官方团队正是用这 1000 条数据测得自动评分与人类评分呈强正相关：

评分按难度分布也很关键：简单题正确率集中在 6 成以上，难题则不足 1 成——你的自动评分器必须在三个难度档上都能稳定输出，榜单才有区分度：

五、实战第 3 步：汇总得分、生成排行榜图表

最后一步：按模型 × 类别汇总正确率。

accuracy = correct_count / total # 每个模型、每个类别各算一次

把结果画成分组柱状图，就是你的第一版模型排行榜。下面两张图正是基于这份数据画出的官方榜单样式，可以直接作为可视化模板：

💡 解读榜单时别只看总分：从 AnswerBench 榜能看到组合题是所有模型的共同短板，而 ProofBench-Advanced 上最强模型也只有约六成正确率——子类别维度往往比总分更能暴露模型的真实能力边界。

六、进阶玩法：给排行榜加上"形式化验证"维度

想让榜单更硬核，可以引入 leap/ 目录的形式化证明数据——LEAP 框架用 Lean 4 编译器验证证明，编译通过即"机器级正确"，彻底消除评分争议：

• Putnam-2025/：2025 年 Putnam 竞赛全部 12 题的 Lean 4 完整证明（100% 解出率），例如 putnam_2025_a1_solution.lean；
• LEAN-IMO-Bench/Basic/ 与 LEAN-IMO-Bench/Advanced/：分难度的形式化解题示例，可对照 imobench/lean_proof_bench.csv 中的 Lean 题面使用；
• Open-Problems/：Erdős 问题 457 等开放问题的已验证证明，属于榜单的"天花板"素材。

搭榜思路：以lean_proof_bench.csv的题面为输入，跑各模型生成形式化证明，再用 Lean 编译器编译判定通过/未通过——排行榜上的每一个 1 都是编译器盖章的，说服力拉满。

七、常见坑与最佳实践清单

1. ⚠️只用 v2 版数据集：旧版answerbench.csv/proofbench.csv已弃用，用错版本会让排名整体失真；
2. ⚠️大文件流式读取：gradingbench.csv有 18 万多行，用csv.reader逐行流式处理，别一次性read()全文；
3. ✅评分细则照抄：ProofBench 的Grading guidelines就是标准答案，评分 prompt 中逐条引用，避免自由发挥；
4. ✅榜单即文档：结果文件里记录"模型版本 + 参数 + 日期 + 数据版本"四元组，别人才能复现你的排名。

🚀 总结一下：题库选 AnswerBench/ProofBench v2、评分用 GradingBench 校准、进阶用 Lean 形式化验证——这三步走完，你就拥有了一个数据扎实、可复现、有区分度的模型排行榜。全部原始数据在 imobench/，形式化解题结果在 leap/，动手试试吧！

【免费下载链接】superhuman项目地址: https://gitcode.com/GitHub_Trending/sup/superhuman