企业官网建设流程全解析

# Sequential Beats Joint: On the Interplay between On‑Policy Distillation and RLVR（arXiv:2609.04108）
> 论文链接：[https://arxiv.org/abs/2609.04108](https://arxiv.org/abs/2609.04108)

## 一、论文主要内容总结
### 背景
**RLVR（可验证奖励强化学习）**与**OPD（在线策略蒸馏）**是大模型推理后训练两大主流技术：
1. RLVR：使用稀疏的任务验证奖励，强化模型输出正确答案，但奖励是序列级，没有细粒度token监督；
2. OPD：来自教师模型的稠密token级监督信号，提升模型解的覆盖度，但不直接优化任务奖励目标。

以往工作大多采用**联合优化**：在同一个训练步内，把OPD蒸馏信号与RLVR优势信号融合，分为两类范式：**加权相加**、**教师调制缩放**。即每一步同时混合两种梯度信号，期望互相弥补缺陷。

### 核心发现
论文提出简单的两阶段流水线 **OPD‑then‑RL**：**先做OPD训练，完成后再切换为纯RLVR训练，不混合梯度**。
在逻辑、数学推理基准上，该方案持续优于纯OPD、纯RLVR以及所有联合优化基线。

### 机理解释（为什么顺序训练优于联合训练）
1. OPD的作用：**拓展模型解空间覆盖范围**，提升pass@k，让模型学到教师支持的更多可行解法；
2. RLVR的作用：**在已拓展的解空间内部做精细化打磨**，把概率质量集中到正确解，提升pass@1；
3. 联合优化缺陷：两个信号在每一步同时更新，梯度互相干扰冲突；RL会