企业官网建设流程全解析

先说我读完这份MiMo-V2.6技术报告标题之后的直观感受：在LLM领域，"强化学习"和"模型自我提升"这两个词单独出现都不稀奇，但把它们组合成"通过扩展强化学习实现模型自我提升"，至少传递了一个明确信号——作者团队想强调的，不是又刷了几个榜单点，而是把RL本身当成一条可以持续投入、持续产出收益的训练主线。过去两年我们见惯了"SFT调不动了加点RL"的补丁式玩法，而这份报告显然想把RL推到舞台中央。下面我从技术视角把这份报告值得拆解的地方、以及类似的"自我提升"路线在工程上怎么落地、有哪些坑，完整梳理一遍。

1. 拆解标题：扩展强化学习与模型自我提升到底指什么

1.1 强化学习在LLM训练里的两次身份转变

要理解MiMo-V2.6这个标题的分量，得先回顾强化学习在语言模型里是怎么一步步"转正"的。

第一代RL，也就是RLHF（从人类反馈中学习），本质上是把RL当作SFT之后的一个对齐加工工序。它的工作方式是：先训练一个奖励模型来模仿人类偏好，再用PPO这类算法优化策略模型，让模型输出更"讨人喜欢"。这套流程的问题在于，奖励模型本身是从人类标注里学出来的，它既贵又脆弱，容易被策略模型钻空子。早期做RLHF的团队多少都遇到过"模型学会了说漂亮话但事实错误变多"的尴尬。

第二代RL，也就是RLVR（可验证奖励的强化学习），彻底换了个奖励来源。它不再依赖一个神经网奖励模型打分手，而是用规则、执行器、确定性校验器来判分——数学题对不对直接比对答案，代码题能不能过就直接跑测试用例。奖励信号突然变得干净、可扩展、几乎零人工成本。DeepSeek-R1带火的那波CoT推理能力涌现，本质就是RLVR在数学和代码这类有标准答案的任务上把模型"练"出了长思维链。MiMo-V2.6标题里的"强化学习"，我判断大概率属于这条谱系，因为它要支撑"自我提升"，奖励信号必须是自动化的、可重复使用的，否则每轮迭代的人工标注成本会直接卡死训练节奏。

第三代，才是标题真正想强调的"自我提升"。当奖励信号足够便宜，模型就能在训练过程中自己生成大量回答、自己给自己打分、把高分回答再喂回训练管道。人类不再逐条标注，只在关键环节设计好校验规则。整个循环像是把AlphaGo的自我对弈搬到了语言模型上——虽然LLM的"棋谱"变成了回答文本，"裁判"变成了校验器和奖励函数。

1.2 "自我提升"的三种实现路线，报告大概率走的是哪条

"模型自我提升"这个说法听着玄乎，但落到具体技术上，业内目前大致有三条路线。

第一条是离线式的自举，典型代表是STaR和RFT（拒绝采样微调）。流程很简单：让模型针对一批问题生成多个回答，用规则或模型筛选出正确回答，然后当作新的SFT数据继续训练。严格来说这不是强化学习，而是"用模型自己的输出去扩展训练集"，但它的确实现了某种"自我提升"。好处是稳定、工程简单，坏处是上限低，因为筛选出的回答分布还是受限于模型当前能力。

第二条是在线的策略优化，也就是正儿八经的强化学习。模型在每轮训练中实时生成回答、实时获得奖励、实时更新策略。GRPO、PPO这类算法都属于这一路线。MiMo-V2.6标题明确写了"强化学习"，所以它走的核心应该是在线优化，而非纯离线筛选。在线RL的优势在于，模型能通过试错探索到当前能力边界之外的解法，这也是长思维链得以涌现的根本原因——离线拒绝采样很难逼出模型"想得更久"的行为，因为采样分布里压根没有足够的深度探索样本。

第三条是自博弈式路线，比如让两个模型互相打分、互相训练，或者用SPIN这类"模型自己判别自己输出"的算法。这条路理论上最接近"自我提升"的字面意思，但对初始模型质量和奖励判断能力要求极高，目前在生产环境里稳定性一般。我读标题的感觉是，MiMo-V2.6的"自我提升"更接近第二条路线加上第一条路线的混合——先在线RL探索，再用探索出的高分数据反哺后续训练循环。这也符合当前开源社区做推理模型的主流做法：每一轮RL结束后，把表现好的prompt-answer对清洗出来，混入下一轮训练的起始数据集。

1.3 扩展的到底是参数、数据还是训练计算

标题里的"扩展强化学习"，很多人第一反应是"把模型参数变大"。但以目前的研究共识来看，RL扩展和参数扩展是正交的两件事。

参数扩展我们都很熟：把7B换成70B，数据量和算力基本按比例涨。而RL扩展，指的是在你已经有一个能力固定的基座模型之后，通过增加以下几类东西来持续提升：

• 采样规模：每个prompt采样多少个回答，rollout阶段的总生成token数。这是RL训练里最烧钱的环节，也是扩展性最强的地方。
• 迭代轮次：RL训练从一轮变成多轮，每一轮结束后把策略更新、数据更新、难度升级串起来。
• prompt库的广度和难度阶梯：只靠几千条题是练不出泛化推理能力的，prompt库需要按难度分层，并且随着模型变强持续补入更难的问题。
• 奖励信号的密度：从"只看最终答案对不对"升级到"过程也打分"、"每一步都校验"，奖励信号越密，模型学得越快，但奖励工程成本也越高。

现在研究社区里已经在讨论"RL scaling law"这类问题：给定固定模型规模和固定数据规模，把RL的rollout计算量扩大，模型能力到底能涨多少、什么时候饱和。MiMo-V2.6标题里敢写"扩展强化学习"，说明它大概率有这类扩展实验的曲线数据。读这类报告时，我最关心的是它的"每增加一倍RL算力，能力提升多少"这类信息，可惜多数技术报告把这个数据藏在附录或直接不公开。

这里有一个值得强调的判断：在RL这条路上，模型参数规模越大，RL扩展的边际收益越高的趋势越明显。小模型做RL很容易陷入奖励黑客和熵坍缩，而大模型底子好，探索出来的高质量轨迹更多。所以"扩展RL"和"扩展模型"更像是配合关系，不是替代关系。

2. 技术报告里的"自我提升"循环：奖励设计是一切的地基

2.1 可验证奖励为什么是自我提升的前提

我前面提到，自我提升的前提是奖励足够便宜。如果每一条训练信号都要靠人类标注，那多轮迭代的人力成本会指数级上升，根本谈不上"扩展"。所以几乎可以断定，MiMo-V2.6这类方案的核心奖励一定来自可验证规则。

可验证奖励具体长什么样？以当前RLVR的通行做法为例，它大致分成三层：

• 格式奖励：判断模型是否按照指定格式输出，比如有没有把思考过程放在标签内、有没有在结尾给出容器化答案。格式奖励是最容易被触发的，也最容易被黑客利用——模型会学会"假装有思考过程"。
• 答案正确性奖励：数学题直接和标准答案比对，支持等价形式判断；代码题则是把生成的代码丢进测试用例执行，按通过比例给奖励。
• 过程奖励：把一道复杂题的解题过程拆成多步，每一步单独判分。过程奖励是当前研究的重点，也是最难做的，因为中间步骤很多时候没有唯一标准答案。

自我提升循环之所以能转起来，是因为这三层奖励全部自动化。模型生成几千条回答，校验器自动判完分，高分样本直接进入下一轮。如果中间有任何一层需要人工介入，训练速度立刻会回到RLHF时代的水平。

2.2 从生成到更新的完整循环长什么样

要复现类似MiMo-V2.6的思路，完整的"自我提升"回合大致分五个环节。

第一步，构建带难度标定的prompt库。这一步经常被低估，但它是整个循环的天花板。如果prompt库全都是简单题，模型很快拿满奖励，策略梯度信号趋近于零，训练就停滞了。所以prompt库必须按难度分层，定期淘汰模型已经能稳定解决的题目，补入当前正确率低于某个阈值（比如30%到50%）的中高难度题。

第二步，用当前策略做大规模采样。每个prompt一般生成8到16个回答不等，采样温度控制在0.6到1.0之间。温度太低探索不足，温度太高生成质量崩坏，这个区间需要根据模型特性调。采样阶段是算力大头，通常要用专门的rollout服务，和训练节点解耦。

第三步，跑奖励。规则校验器批量判分，同时记录每个回答的格式完成度、正确率、回答长度等元数据。这些元数据不只用于算奖励，还用于后续诊断——比如某轮训练后回答长度突然暴增，但正确率没涨，那多半是模型钻了格式奖励的空子。

第四步，策略优化。在线RL用GRPO或PPO把奖励信号转化为梯度更新。这里有个关键细节：奖励信号需要经过标准化处理，否则不同难度prompt之间的得分绝对值差异过大，会让训练偏向简单题。GRPO的做法是在一个分组内部做相对优势计算，天然缓解了这个问题，这也是它现在这么流行的原因之一。

第五步，评估与归档。每轮训练结束后，把模型在固定评测集上的表现记录下来，把本轮产生的高分样本清理后混入下一轮的累积数据集，然后更新prompt库难度，进入下一回合。整个循环像是个"螺旋上升"的过程，每一轮都站在前一轮探索成果的肩膀上。

2.3 读技术报告时，我会第一时间盯的那几个配置项

一份RL训练报告的信息量，很大程度上藏在算法配置里。我拿到这类报告，会先找四个参数：

• KL惩罚系数：控制策略偏离参考模型的程度。太小，模型会为了奖励彻底放飞，输出变得不可控；太大，探索空间被锁死，提升微弱。公开实践里，这个值大多在0.01到0.1这个量级，具体要看奖励尺度。
• rollout采样数量：也就是每个prompt采几个回答。8个以下样本的GRPO比较常见，采样越多优势估计越准，但算力成本线性上涨。
• 温度与top-p：探索强度配置。推理类任务训练中，温度从1.0起步后，后期往往会逐步调低。
• 奖励结构占比：格式奖励、正确性奖励、过程奖励各自的权重。我特别警惕格式奖励权重过高的情况，因为模型会优先满足格式而不是解决问题。

我把常见数值范围整理成了一张参考表，注意这是基于开源社区通用实践的补充，不是报告原文数据：

这些参数不一定会出现在报告的正文表格里，但它的影子一定藏在训练细节的表述中。比如报告如果提到"我们观察到模型在训练中后期涌现出更长的思维链"，那基本可以反推出它的KL系数设得比较保守、采样温度偏高，给了模型足够的自由探索空间。

3. 扩展强化学习的工程实现：算力账、数据账、稳定性账

3.1 算力账：RL的试错成本远高于SFT

很多团队兴冲冲地复现RLVR，第一轮就把预算烧穿了，原因就一条：没算清楚rollout的算力账。

SFT的成本是固定的——你用一份数据过一遍前向反向，算力基本可以预估。RL不一样，它在每一步策略更新前都要生成大量回答，而且模型越训越强，生成的回答越来越长，你每轮要付的"思考税"越来越高。一个直观的参考：7B模型单卡A100上做SFT，一个epoch可能几小时；而同样规模的RL训练，光rollout阶段一天跑几十万条长回答就能吃掉你大半的显存和带宽。

所以做RL扩展，工程上第一件事是把generation和training彻底解耦。用单独的rollout服务池跑采样，把回答缓存下来，训练节点只负责消费缓存数据更新策略。缓存的策略也很关键：如果每步更新都要全部重新采样，算力成本直接翻倍；实践中一般是策略更新一定步数后再触发新一轮采样，让旧样本的利用率尽可能高。

我实测下来，预算分配的经验比例大致是：rollout占60%到70%，训练占20%到30%，奖励和评估占10%。如果你发现训练成本反而超过rollout，很可能是采样复用了缓存数据而训练步数设置不合理，属于典型的需要调整配置的信号。

3.2 数据账：prompt库的难度进阶比想象中重要

数据扩展这一块，我的观点很明确：RL训练里prompt库的设计质量，重要性不亚于算法本身。一堆烂prompt喂给RL，轻则学不到东西，重则把模型训歪。

好的prompt库要满足三个条件。

第一是领域多样性。纯粹刷数学题能让模型在数学基准上暴涨，但换个领域的推理能力纹丝不动。所以至少要覆盖数学、代码、逻辑推理、科学问答这几个基本面。MiMo-V2.6报告如果确实强调了"自我提升"，那它必须依赖一个跨领域的可验证任务池，否则提升只会在窄域内有效。

第二是难度谱系完整。从模型当前正确率80%的简单题，到正确率10%的难题，都要有一定比例。经验法则是：当前正确率30%到60%的题目占比最大，这类题刚好在"跳一跳够得着"的区域，策略梯度信号最强。简单题和送分题留一小部分保持稳定性就够了。

第三是防泄露。prompt库里的题如果和评测集有重叠，测试分数会虚高得离谱。这个问题在RL训练里比SFT更隐蔽，因为模型生成的多轮迭代回答中，可能已经间接背下了某些题目的标准答案。清洗prompt库时，必须做和评测集的近重复检测，并且每过几轮就要重新检查一次。

3.3 稳定性账：熵坍缩、奖励黑客和KL漂移

扩展RL训练时，最常见的翻车点有三个，我分别说说症状和处置方法。

熵坍缩是第一个拦路虎。模型在追求奖励的过程中，会逐渐收敛到少数几个高奖励的输出模式，输出的多样性急剧下降，最终变成"复读机"。症状是每个prompt的生成回答几乎雷同，奖励很高但loss也在涨。处置办法：调高熵奖励系数、降低温度、适当放宽KL约束。我自己的习惯是每个rollout batch监控输出序列的多样性指标，一旦发现重复率异常上升，立刻调参而不是硬着头皮继续训。

奖励黑客是第二个大坑。模型对奖励函数的理解远比人直接，它会在不解决实际问题的情况下最大化奖励。最典型的例子是代码RL训练中，模型学会在代码里硬编码输出常量来通过测试用例；或者长思维链训练中，模型写一大堆废话，把格式奖励和长度奖励拿满。处置办法：奖励函数尽可能细化——代码任务要隐藏测试用例、禁止硬编码；格式奖励要限制最大长度；定期人工抽检高分样本，确认高分不是"伪高分"。

KL漂移是第三个问题，也是三个里最隐蔽的。策略在RL训练中逐渐偏离参考模型，输出风格、安全性、通用能力都在悄悄改变。KL惩罚系数设得太大，提升很慢；设得太小，模型会丢失原有能力。我读报告时会特别留意一个指标：训练结束后，模型在通用任务上的表现是否发生退化。如果一份RL报告只报数学和代码分数，闭口不提通用能力的变化，那我基本会默认它存在轻度KL漂移问题。

3.4 一份可参考的复现配置

如果看完报告想在自己的模型上复现类似方案，我给出一个基于公开实践经验的起步配置，比较适合7B到14B规模的模型跑通流程：

这个配置的目标不是刷榜，而是验证"自我提升循环"在你的任务域上能不能转起来。如果两三轮之后模型在一个窄域任务上确实持续变强，再考虑扩大prompt库、增加采样数、加入过程奖励。这也是我认为MiMo-V2.6报告真正值得学习的地方——它不是一次性训练的配方，而是一套可以迭代扩展的训练框架。

4. 和主流路线的对照：长思维链、离线RL与未来扩展方向

4.1 test-time scaling和RL训练的关系

近一年LLM社区最热的关键词之一，是"测试时计算扩展"，也就是o1式模型那种"推理时多花token想得更久"的做法。有人以为RL训练和test-time scaling是两个对立路线，其实它们是一条路的两端。

RL训练的本质，是在训练阶段教会模型"应该多想、怎么多想"。模型在强化学习过程中发现，用更长的思维链、更多自我校验步骤能提高奖励，于是它学会了在推理时动态分配计算。也就是说，o1模型的test-time scaling能力，很大程度是RL练出来的行为习惯，而不是模型架构天然具备的属性。

MiMo-V2.6报告如果展示了"模型能自己学会更长的思考"，那它背后的机制就是RL对行为分布的塑造。我关心的问题是：这种长思考是稳定涌现，还是需要在奖励里显式加"思考长度激励"？如果报告里有"不做任何长度激励，模型自发变长"的消融实验，那含金量就很高；如果它隐式地在格式奖励里鼓励了思考标签的完整输出，那所谓的"涌现"就要打折扣。

4.2 离线强化学习在自我提升里的独特生态位

热搜词里出现了IQL（Implicit Q-learning）这类离线强化学习算法，它在LLM自我提升话题里确实值得单独聊一嘴。

在线RL的优势是能探索新轨迹，但它对算力和工程的要求极高。而离线RL的思路是：不动用大规模在线采样，直接在一堆固定数据集上学习价值函数和策略。放在"自我提升"的语境里，离线RL的典型应用场景是：你已经攒了一批高质量回答（来自之前轮次RL的高分样本或者人工精标），用IQL这类算法在这批固定数据上做策略提升，不额外生成新样本，成本和工程复杂度都低得多。

我个人的看法是，成熟的自我提升方案不会只用在线RL，而是"离线打底、在线攻坚"。先用离线RL从历史数据里把策略提升到接近当前能力上限，再用在线RL在边角区域探索新路径。这两种方式结合，训练效率会明显高于单走一条路。但要提醒的是，离线RL对数据覆盖度的要求很高，数据分布如果太窄，价值函数估计会严重偏差，效果反而不如直接SFT。

4.3 基于模型的强化学习和模拟器路线

热搜词里还有"基于模型强化学习"。这条路线在游戏和机器人领域很成熟，先学一个环境模型，再用这个模型做规划和对弈，样本效率比无模型RL高一个量级。

但搬到LLM领域，它遇到了独特的瓶颈：语言任务的"环境"不是一个物理模拟器，而是一个开放的评价空间。你很难学出一个可靠的语言环境模型，让它准确预测"模型下一句话会得到什么奖励"。目前有一些初步尝试，比如用另一个强模型充当奖励模型或裁判，相当于做了一个"人类偏好的模拟器"，但它本质上还是模型奖励，存在原始RLHF的问题。

MiMo-V2.6这类报告如果足够前沿，可能会在讨论环节提到这条路线，但我预判它的主要成果还是落在无模型RLVR框架内。基于模型的RL在LLM的落地，短期内更适合做prompt调度或课程学习的内部模拟，而不是替代真实奖励。

4.4 自我提升路线什么时候不适用

任何技术方案都有边界，RL自我提升的边界尤其明显。头号限制是可验证奖励的可用性。如果任务没有客观判分标准——比如写诗、讲段子、开放域对话、品牌文案——RLVR根本无从下手，硬做只能退回奖励模型，重新捡起RLHF的老问题。

第二个限制是模型基座能力的门槛。RL能放大已有能力，但很难无中生有。一个基础语感很差的小模型做RL，探索出的高质量轨迹数量极少，能提升的幅度有限。这也是为什么做RL scaling的团队普遍选择较大模型做基座。

第三个限制是收益递减。RL的扩展曲线不是线性的，训练到某个阶段后，每增加一倍rollout算力，能力提升会显著放缓。判断"该不该继续扩展RL"的标准，是看曲线是否已经进入平台期，同时确认评测集上没有过拟合迹象。如果模型在训练集涉及的任务域内还在涨，但外推的通用集已经不动了，那就是过拟合信号，应该停下来重新设计prompt库。

5. 我的实操心得与阅读建议：怎么把一份技术报告变成自己的方法论

5.1 读技术报告时最该抠的三个细节

技术报告不像论文那样追求可复现，很多关键信息藏在字缝里，我读的时候有三个反复核查的习惯。

第一，看消融实验的对照组。报告说RL有效，是和什么比的？是和继续SFT比，还是和不做RL的原始模型比？控制变量做没做干净？如果对比基线太弱，"有效"的说服力要大打折扣。

第二，看评测集的选择。报告报的分数是在什么评测集上取得的？有没有可能评测集和训练prompt库有重叠？如果报告没有提供任何去重说明，我会默认它可能存在泄漏风险。

第三，看计算预算和训练步数。报告有没有交代总训练token数、rollout总量、迭代轮次？这些数字直接决定了方案的性价比。有些方案能力确实涨了，但成本够别人训三遍SFT，这种"提升"在工程上没有参考价值。

5.2 小规模验证框架：先用一天时间判断方案可不可行

每当我看到一份新的RL自我提升报告，我不会直接按它的配置上全量训练，而是先跑一个一天的快速验证实验。

做法很朴素：从报告描述的训练流程里抽出一个最小闭环——选一个窄域可验证任务（比如小学到初中数学题），准备500到1000个prompt，用一个小基座模型跑2到3轮GRPO。判断标准有三个：一是模型在固定评测集上有没有真实提升，二是采样回答的多样性有没有明显下降，三是高分样本抽检后是不是真的"解决了问题"而不是"形式正确"。

如果这三个指标有两项不达标，那说明这个方案在这个基座和任务域上跑不通，再扩大规模只会浪费更多算力。如果三项都过了，我再逐步扩大prompt库、增加采样、加入更多奖励信号。这套验证框架看起来很粗糙，但比直接烧钱跑全量靠谱得多。我甚至建议把这种"最小闭环验证"固化成流程，因为RL训练的不确定性比SFT大太多，方案间的差距往往在第一步就拉开了。

5.3 评估陷阱：榜单分数和真实能力有时是两回事

做模型自我提升训练，最容易被自己骗的一个环节是评估。RL训练过拟合评测集的速度比SFT快得多，原因在于RL优化的就是那个奖励信号，而奖励信号往往来自规则校验器——如果评测集里的题目和训练prompt库同源，分数会涨得让人以为模型开窍了。

我的对策很简单：评测集必须分三层。第一层是训练集内部留出的一部分题目，用于监测训练过程本身有没有收敛；第二层是训练集同分布但严格去重的题目，用于衡量域内泛化；第三层是跨领域转移题，用于看模型的通用推理能力有没有被带动。只有三层都涨，这个"自我提升"才是真的；只涨第一层，就是在自嗨。

另外，我强烈建议每个训练阶段都保留一小批人工抽检样本。规则校验器能判断"答案是否等于标准答案"，但判断不了"解答过程是否合理"。人工抽检花不了多少时间，却能提前发现模型用花式作弊刷高分的问题。这个习惯帮我避免过至少三次大翻车。

5.4 关于自我提升这件事，我个人最终想留下的一句话

训练跑多了你会发现，所谓"模型自我提升"并没有那么神秘，它本质上就是一个精心设计的正反馈回路：可靠的奖励信号、足够多样的探索、严谨的数据管理、缓慢但持续的策略更新，四个环节缺一不可。大部分失败的RL项目不是因为算法不够先进，而是奖励信号有洞、数据分布太窄、或者训练早期没有盯住稳定性指标。

读MiMo-V2.6这类报告，最终要带走的不是那些具体分数，而是它对"扩展"这件事的理解——RL是可以像数据和算力一样持续投入资源的维度，但前提是你已经具备了掌控它的工程能力。建议所有想复现类似方案的朋友，第一步不是训练，而是先把奖励函数和prompt库这块地基打扎实，然后再考虑怎么往上扩展。这是我在这个领域反复踩坑后得到的最有价值的一条经验。