Aletheia如何工作?Superhuman研究级数学AI工作流完整拆解
【免费下载链接】superhuman项目地址: https://gitcode.com/GitHub_Trending/sup/superhuman
Superhuman是 Google DeepMind 超级推理团队(Superhuman Reasoning)开源的数学推理项目仓库,核心亮点Aletheia是一个由 Gemini Deep Think 驱动的研究级数学智能体(Math Research Agent),能够迭代地生成、验证并修改数学证明,产出可直接用于发表研究论文的完整 LaTeX 证明。本文将从仓库结构、工作流机制、评测基准到形式化验证,带你完整拆解这套研究级数学工作流是如何运转的。
一、Superhuman 仓库全景:三大核心模块 🗂️
打开仓库根目录的 README.md,你会发现整个项目由三大板块组成:
| 模块 | 定位 | 一句话简介 |
|---|---|---|
| Aletheia | 研究级数学智能体 | 生成、验证、修改研究级数学问题的证明 |
| IMO Bench | 数学推理评测基准 | 400 道简答题 + 60 道证明题 + 1000 份人工评分 |
| LEAP | 形式化证明框架 | 用 Lean 4 编译反馈迭代完善机器生成的证明 |
这三者构成了一条完整的"数学推理能力流水线":IMO Bench 负责量尺,Aletheia 负责攻关研究级问题,LEAP 负责用形式化语言把证明钉死在编译器层面。
二、Aletheia 如何工作?"生成 → 验证 → 修改"三步循环 🔁
Aletheia 的核心机制写在 Aletheia 论文 中:它不是一次性给出答案的问答机器,而是一个持续迭代的智能体工作流。
1. 输入研究级问题
Aletheia 面对的难题远超竞赛数学,包括:
- Erdős 开放问题:如泛化 Erdős-1051 并证明某类快速收敛级数的无理性,见 BKKKZ26/BKKKZ26.tex
- 代数几何:证明模空间上 Hodge 丛的简单性(无非平凡子丛),见 HodgeBundle/HodgeBundle.tex
- 拓扑学难题:解决 Kirby 3 问题列表中关于非交换半自由 DGA 的 Problem 5.16,见 Kirby/Kirby5-16.tex
- FirstProof 挑战:对第 2、5、7、8、9、10 题的多解法完整证明,收录在 aletheia/FirstProof/
2. 迭代生成与自检
在 aletheia/Erdos/Erdos.tex 这样的输出文档中,你能清晰看到工作流的"过程考古":每道题都以Problem 框给出原始陈述,随后Solution 框呈现 Aletheia 的完整证明——证明内部按段落展开"引用定理 → 构造对象 → 逐步推导 → 验证结论"的标准研究论证结构。例如 Erdős-75 的证明中,模型先定位到 Lambie-Hanson 2020 年的关键定理,再层层推导到独立集规模不等式。
3. 修订与人工校订
值得注意的是,aletheia/README.md 明确说明:这些输出仅做了排版兼容性编辑,其中许多包含小错误(minor inaccuracies)。这正是工作流的一部分——模型输出的证明需要被验证、被修订,最终由研究者确认后成为论文素材。例如 Aletheia 还独立意识到 Kirby 问题列表的 3.39b 可直接化归为 Chen-Lodha 的最新结果,展现了智能体在文献追踪上的能力。
💡要点:Aletheia 的价值不在于"永远正确",而在于它把研究者的重复劳动(找引理、写初稿、检查细节)压缩成了可迭代的智能体循环。
三、IMO Bench:如何衡量一个 AI 的数学成色? 📊
Aletheia 的强大需要标尺,imobench/README.md 里的IMO Bench就是官方量尺,包含四个数据集:
- IMO-AnswerBench(400 道简答难题):answerbench_v2.csv
- IMO-ProofBench(60 道专家审定的证明题):proofbench_v2.csv
- IMO-GradingBench(1000 份人工评分,推动自动评测):gradingbench.csv
- IMO-LeanProofBench(Lean 形式化题目):lean_proof_bench.csv
题目覆盖代数、几何、组合、数论四大领域,其中组合题最弱、几何与数论竞争最激烈:
各大模型在 AnswerBench 上按人类评审标准打分后的准确率对比(Deep Think IMO Gold 版本在各类目均领先):
而 GradingBench 展示了一个关键事实:证明题的评分分布远比"对错二元"复杂——Easy 档 61.8% 得满分,但 Hard 档下错误与部分得分占大头,这正是需要 1000 份人工评分数据训练自动评分器的原因:
四、LEAP:把自然语言证明"钉进" Lean 4 编译器 🔒
自然语言证明可能"看起来对",而LEAP(LLM-in-Lean Environment Agentic Prover)解决的就是这个问题,详见 leap/README.md 与 LEAP.pdf:
- 分解:用 AND-OR DAG 蓝图把复杂问题拆成小子目标
- 迭代:把 Lean 编译器的报错反馈回给 LLM,配合 LLM 评审持续打磨
- 验证:证明通过编译器才算数
成果相当硬核——在 leap/solutions/Putnam-2025/ 下是2025 年 Putnam 竞赛全部 12 题的 Lean 4 完整形式化解法(100% 解决率),可打开 putnam_2025_a1_solution.lean 感受机器证明的粒度;leap/solutions/LEAN-IMO-Bench/ 则按 Basic / Advanced 两档组织了 IMO 风格题的正式证明;最惊艳的是 leap/solutions/Open-Problems/ 中 Erdős 457 问题与 Knuth 哈密顿分解子问题的已验证证明。
五、总结:一条完整的"研究级数学"工作流 🔬
把三大模块串起来,Superhuman 展示的是一条清晰路线:
- Aletheia(aletheia/)——智能体迭代生成、验证、修改研究级证明;
- IMO Bench(imobench/)——用简答、证明、评分三层数据客观度量数学推理能力;
- LEAP(leap/)——用 Lean 4 编译器反馈闭环,让证明从"可信"升级为"可验证"。
仓库内所有 LaTeX/PDF 素材均可直接查阅,是研究 AI 数学推理工作流的绝佳一手材料。项目代码遵循 Apache 2.0 协议,其余资料遵循 CC-BY 4.0 许可,可在 LICENSE 中查看完整条款。
【免费下载链接】superhuman项目地址: https://gitcode.com/GitHub_Trending/sup/superhuman
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考