企业官网建设流程全解析

26年9月来自Weco AI 的论文“Recursive self-improvement of AI research agents”。

这篇论文提出研究智能体自我改进系统AIDE²。该论文有力支持了“自动改写智能体框架可以提高研究任务效率”，但尚未证明“自我改进能力能够跨代增强并持续加速”。它的主要价值在于系统设计和实验验证；关键悬念是，改进后的研究智能体能否成为更强的“智能体设计者”。

方法的核心，是把研究智能体自身的代码作为优化对象。

这里被改进的是 驾驭（harness），即围绕大模型组织工作的代码：如何搜索方案、选择实验、管理上下文、处理失败以及提交最终结果。底层大模型的权重保持固定。

可以把它理解为两层优化：

• 内层：优化任务代码。智能体修改机器学习程序、启发式算法或其他智能体框架，在预算内寻找更好的解决方案。
• 外层：优化研究过程。另一个智能体修改内层智能体的代码，以提高它完成一组研究任务的能力。

如图 1 所示递归自我改进过程中的一个步骤，分为三种放大层级。左图：外层循环在一个智能体构成的树状结构中进行搜索，其中每个节点都是一个完整的研究型智能体；外层循环智能体会针对当前“在位”智能体的代码提出重写方案。中图：通过让候选智能体在 AI 研发任务中充当优化器来对其进行评分；各项任务中的留出集（held-out）评分汇总形成最终评分 g(a)；只有当 g(a) 优于在位智能体的评分时，才会保留该重写方案。右图：每个解决方案节点都是针对其对应任务的可执行脚本。

论文主实验的外层采用人工设计的AIDEhuman + Claude Opus 4.7；内层从简化版AIDE₀ + Gemini 3 Flash开始演化。AIDEhuman 是人工研发的自动研究系统，并非人在每轮手动修改。

内层沿用 AIDE 的树搜索结构：每个节点是一份可运行的任务代码，通过draft（探索新方案）、debug（修复错误）、improve（改进已有方案）扩展节点；reviewer 从执行结果中提取分数和反馈。外层树中的节点则是完整的研究智能体。

其评价函数可以概括为：

其中，^x_t(a;b_t) 是智能体 a 在任务预算 b_t 内最终选出的方案。实际实验还对独立运行求平均。

两个设计尤其关键：

1. 分离搜索反馈与最终评价。内层依据公开信号优化，外层依据隐藏数据上的表现筛选智能体，减少只追逐可见分数的倾向。
2. 固定每个候选智能体的任务预算。预算包含模型调用和方案执行费用，使更高成绩能够体现更好的预算利用效率。

需要注意，隐藏评价分数会反馈给外层，因此它对外层而言属于开发阶段的选择信号；真正检验跨任务泛化，还需要完全不参与选择的外部基准。

最终演化出的 AIDE₈₅，主要改善了搜索和记忆管理。具体机制见第 3.5 节及附录 E。

运行末期，AIDE₈₅ 相对 AIDE₀ 的单次提示字符量减少约 7 倍到 50 倍，具体取决于基准。这是上下文长度的压缩比例，不能直接当作总成本或总运行时间的加速倍数。

这些组件大多有成熟算法思想作为基础。论文的新意主要在于：系统能够自主提出、组合并筛选这些机制，得到具有迁移效果的研究智能体。

实验中最值得关注的是外部泛化，而不只是选择集分数上涨。

主实验运行八天，包含初始版本及 99 次改写提案，共接受七次改进，选择集分数从0.703 提升到 0.778；人工基线为0.749。另外两次完整运行分别接受两次和四次改进，说明产生有效改写并非只出现过一次。

外部基准结果如下，来自附录表 1；“±”为一个标准误，不是 95% 置信区间。

这些结果还有三处需要准确理解：

• 演化并不保证所有能力同步提高。中间版本 AIDE₄₇ 在 MLE-Bench 和天气任务上，均值略高于最终版本。
• 天气指标是相对初始动力核心的预测技巧增益。它不是 WeatherBench 2 排行榜上的绝对性能，也不能据此声称超越领先天气预测系统。
• 不同基准采用不同资源约束。ALE、MLE、天气任务主要限制费用；FML 主要限制步骤。不能把全部结果统一解释为“相同美元成本下的提升”。

此外，在 38 个“GPU kernel—训练场景”组合上，论文定义的奖励投机率从55% 降到 32%，人工基线为39%。这一指标衡量的是孤立测试中的加速，是否能在真实训练过程中保留下来。它说明代理指标与实际收益之间的偏差有所减少，但不能直接推导出更广泛的安全性或诚信提升。

三项主要贡献。

• 让研究智能体设计成为可执行、可评价的搜索问题。优化对象覆盖搜索、记忆和结果选择，超出了单纯调整提示词。
• 提供了跨任务、跨领域及跨底层模型的迁移证据。这比只报告用于筛选版本的分数更有说服力，也支持 harness 本身是能力的重要来源。
• 明确提出“点火测试”（ignition test）。作者把“做研究更强”和“改进研究智能体更强”区分开来，为递归自我改进提出了一个可检验的标准。

与论文讨论的 STOP、Darwin Gödel Machine 等工作相比，它的定位主要是：直接以固定预算下的 AI 研发效率为优化目标，并检验改进后的系统能否继续承担外层优化。自我修改、树搜索、bandit 和元优化思想本身并非本文首创。

最重要的问题，在于结论的边界和收益归因。

1. 尚未通过“更强自我改进者”的检验。
   主实验中，持续变化的是内层智能体，外层 AIDEhuman 保持固定。点火测试让 AIDE₄₇ 与 AIDEhuman 分别驱动后续改进，每组仅三个种子、每次 50 步，最终均值为0.780 与 0.782。作者也承认结果不确定。因此，现有证据支持多轮自动改进，但不足以支持跨代加速，更不足以支持无限自我增强。
2. 选择噪声可能被“只保留最高分”的机制放大。
   每个候选的评价都受到模型随机性、搜索路径和任务测量噪声影响。从大量提案中选最大值，可能保留偶然高分。最优分数曲线单调上升也是选择规则本身的结果，不能单独证明真实能力持续提高。独立基准缓解了这一问题，但不能替代对每次晋升的统计检验。
3. 缺少充分消融，无法确定哪些改动真正有效。
   搜索策略、上下文压缩、错误记忆和鲁棒性规则累积在一起，贡献尚未拆开。论文甚至发现，一个用于惩罚“幸运高分”的规则保留了原有排序，在回放实验中从未改变最终选择。这说明演化结果可能包含无效复杂性。
4. 部分收益涉及评测程序修复，需要统一重评。
   第 3.5 节指出，系统修复了一个“单个测试失败导致整个隐藏评测崩溃”的问题。这是有价值的工程发现，但也提出可比性问题：新旧智能体是否都在同一个修复后的评测器下重新评分？论文对此交代不充分。需要把“研究策略提升”和“评测基础设施修复”分开统计。
5. 泛化范围和基线仍有局限。
   天气实验只有一个任务、三个种子。初始 AIDE₀ 又存在明显的历史膨胀问题，部分运行因上下文超限提前结束。因此，相对 AIDE₀ 的提升有一部分来自修复已知工程缺陷。人工强基线的加入改善了比较，但 FML 上与其相当的结果，也说明优势并非全面且显著。
6. 经济性与复现细节仍不充分。
   固定内层预算证明的是单次任务的使用效率，完整经济收益还需要计入外层提案、失败实验和反复评估成本。本文对选择集完整任务清单、逐任务预算、重复次数及总费用的披露不够充分。“八天达到两年人工研发系统的水平”也不能直接理解为八天替代两年研发投入。

未来工作应优先补齐因果证据，再验证真正的跨代改进。以下是我的建议，按研究价值和依赖关系排序。

如果以此为基础继续做研究：带统计晋升机制、冻结独立评测器的多代自改进系统。其核心指标应当包括“每单位总成本带来的外部能力增益”，以及这个增益能否随着代际推进而提高。这样才能直接检验本文最重要、也尚未解决的假设。