AI-Scientist完整指南:让AI自动跑实验并写出可发表论文,附避坑清单
2026/9/12 20:26:05 网站建设 项目流程

AI-Scientist完整指南:让AI自动跑实验并写出可发表论文,附避坑清单

【免费下载链接】AI-ScientistThe AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery 🧑‍🔬项目地址: https://gitcode.com/GitHub_Trending/ai/AI-Scientist

写论文是机器学习研究里最慢的环节。Sakana AI 的 AI-Scientist 是一个全自动科研论文生成系统:AI 自己提想法、改代码跑实验、画图、写 LaTeX、再给论文打分,最后吐出一篇 PDF。本文只讲一件事——怎么在你机器上把它真正跑起来,所有命令都对着仓库 README 和源码核过。

论文产出太慢?AI-Scientist 把"想法到论文"整条链路自动化

被卡住的人是你:实验跑完了,把结果变成论文还要手工调误差线、填引用、写审稿意见,想法不行还得推倒重来。AI-Scientist 的核心功能就是把这条链全接过去——你指定一个模板和一个模型,系统自动完成想法生成、新颖性检查、跑实验、出图、写稿、评审,最后连 PDF 带审稿报告一起给你。

一分钟看懂:从 ideas.json 到 PDF 论文的三步数据流

全流程就三步,每步产出都是下一步的输入:

  1. 想法生成与筛选(ai_scientist/generate_ideas.py):读模板里的 experiment.py,每个想法经过 3 轮自我反思打磨,再拿 Semantic Scholar(或 OpenAlex)查新颖性,活下来的想法写进模板目录的 ideas.json。
  2. 实验与数据(ai_scientist/perform_experiments.py):由 aider 修改代码并执行,每个想法最多 5 次 run,单次实验超时 2 小时即判失败;结果落到 run_1/ ~ run_5/ 的 final_info.json,再由模板里的 plot.py 出图。
  3. 写稿与评审(ai_scientist/perform_writeup.py):把论文内容填进 LaTeX 模板编译成 PDF,随后 GPT-4o 做 5 路集成评审,输出 1–10 分、Accept/Reject 结论和弱点清单,存成同目录的 review.txt。

注意数据是"先想法后实验",和常规"先跑通实验再想怎么讲故事"的顺序正好反过来——想法先过新颖性这一关,才值得花 GPU 时间。

按问题选功能:新手问得最多的四件事

想不写实验代码、端到端跑通?

官方提供 nanoGPT、2D Diffusion、Grokking 三个模板,templates/ 下还有 MACE、seir、tensorf 等 7 个社区模板。你不用自己写实验代码,--experiment指定模板即可。模板结构固定:以 templates/nanoGPT/ 为例,包含 experiment.py(入口,接受--out_dir)、plot.py、prompt.json(研究方向的描述)、seed_ideas.json(种子想法)和 latex/template.tex(写作模板)。文件名和输出 JSON 格式对齐,流水线就能直接复用。

想要图表能发表,而不是玩具图?

图不是 AI 随手画的。每个 run 的数据落在 run_*/final_info.json 和 all_results.npy,以 templates/grokking/plot.py 为例,它先对多次运行求均值和标准误再绘制,曲线自带误差线,这是"发表级"的底线。example_papers/ 里 10 篇完整样例论文能直接看出成色,比如这篇 2D Diffusion 实验在 circle、dino、line、moons 四个数据集上对比了 6 个 run:

想知道生成的论文值不值得投?

系统对自己的产出做 5 路集成评审,给总分、Accept/Reject 结论和弱点列表。10 篇样例论文都是"PDF + review.txt"成对存放,先读它们就知道强弱在哪。想批量校验评审尺度,review_iclr_bench/iclr_analysis.py 支持对数百篇 ICLR 论文跑批量评审。这篇样例论文正文里的图(点颜色代表门控权重,六个变体并排)就是自动流程的产物:

想跑自己的研究方向?

README 的 "Making Your Own Template" 一节给了做法:仿照现有模板准备 experiment.py、plot.py、prompt.json、seed_ideas.json、latex/template.tex 五个文件,关键是把文件名和输出 JSON 对齐成现有格式。社区模板官方不维护,质量自负。

跟着命令走:一条主线跑出第一篇 AI-Scientist 论文

主线用 README 推荐组合:nanoGPT 模板做基线、nanoGPT_lite 跑正式生成,2 个想法。硬件必须 Linux + NVIDIA GPU,纯 CPU 官方直言不现实。

第一步,环境与基线:

conda create -n ai_scientist python=3.11 && conda activate ai_scientist sudo apt-get install texlive-full && pip install -r requirements.txt python data/enwik8/prepare.py && python data/shakespeare_char/prepare.py && python data/text8/prepare.py cd templates/nanoGPT python experiment.py --out_dir run_0 && python plot.py

跑之前记得 export 对应模型的 API key(如 ANTHROPIC_API_KEY),以及无论如何都要备好 OpenAI key——评审阶段固定调用 GPT-4o。run_0 是基线,后续每个新 run 都和它对比。

第二步,正式生成论文:

python launch_scientist.py \ --model "gpt-4o-2024-05-13" \ --experiment nanoGPT_lite \ --num-ideas 2

跑完后去 results/nanoGPT_lite/ 下找"时间戳_想法名"的文件夹,里面是完整的可复现材料:每次 run 的代码版本 run_*.py、notes.txt、log.txt、review.txt 和最终 PDF。2 个想法单卡也要数小时,建议挂着跑。

进阶玩法与避坑清单:开跑前对照这五条

  • 🖥️多卡利用:加--parallel N把想法分到 N 张卡上跑,--gpus 0,1指定用哪些卡,N 会自动被显卡数量截断。
  • 💸API 开销:每个想法 = 3 轮想法反思 + 最多 5 轮改码实验 + 写稿 + 5 路集成评审,token 消耗不小;首跑用--num-ideas 2就够,想复用旧想法可加--skip-idea-generation
  • 🐳安全红线:系统会执行 LLM 生成的代码,可能联网、起进程,README 明确警告要容器化运行,experimental/Dockerfile 现成可用。
  • 🔑Key 组合:Semantic Scholar key(S2_API_KEY)可选,没有就--engine openalex走免 key 的 OpenAlex;--model随便选,评审环节都绕不开 OpenAI。
  • 📦安装坑:texlive-full 安装极慢,官方提示可能要长时间按住 Enter 防止进程被杀;Semantic Scholar 出问题时可跳过文献检索阶段。

三句话说清这个项目给你什么

AI-Scientist 把"想法→实验→图表→论文→评审"从数天压进一个通宵,且产物完全可复现:每个想法的代码、数据、审稿报告都在 results/ 目录里躺着。值不值得投入,看样例论文的质量说话——先翻 example_papers/ 里的 PDF 和 review.txt,再决定它的"文笔"是否达标。下一步很具体:挑 nanoGPT_lite,用本文的命令跑通 2 个想法,看评审打分再决定加多少--num-ideas

【免费下载链接】AI-ScientistThe AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery 🧑‍🔬项目地址: https://gitcode.com/GitHub_Trending/ai/AI-Scientist

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询