> ### 摘要
> 最新综述指出，OPD（On-Policy Distillation）正推动蒸馏技术从全量模仿迈向更精细的选择性监督。其核心范式在于：学生模型在自身rollout过程中实时接收教师模型提供的token级信号，从而规避off-policy学习中固有的暴露偏差问题；相较依赖稀疏奖励的强化学习，该机制可提供更密集、更稳定的梯度信号，显著提升训练可靠性与收敛效率。
> ### 关键词
> OPD, 蒸馏技术, 选择性监督, token级信号, 暴露偏差
## 一、OPD技术的基本概念与发展
### 1.1 OPD的定义与起源：理解模型蒸馏的核心思想
OPD（On-Policy Distillation）并非对传统知识蒸馏的简单延伸，而是一次范式意义上的转向——它将“教”与“学”的时序重新锚定在学生模型自身的决策轨迹之上。在这里，“蒸馏”不再意味着静态地复刻教师输出的完整序列，而是动态地、协同地展开：学生在每一次rollout中生成自己的token序列，同时实时接收教师针对当前上下文所给出的token级信号。这种紧耦合的交互机制，根植于对学习稳定性的深切关切——它拒绝将学生置于“教师曾走过的路”这一陌生路径上盲目跟随，转而让学习过程始终扎根于自身策略所铺就的土壤。正因如此，OPD从诞生之初，便携带着一种内在的诚实感：它不掩饰学生能力的边界，也不回避策略演进中的不确定性；它所追求的，不是完美复现，而是可信赖的渐进成长。
### 1.2 从全量模仿到选择性监督：蒸馏技术的演进历程
蒸馏技术的脉络，正悄然经历一场静默却深刻的蜕变：从早期要求学生无差别吸收教师全部输出的“全量模仿”，走向如今强调判断力与聚焦力的“选择性监督”。这一转变，不只是方法论的优化，更是对智能体学习本质的一次再确认——真正的学习，从来不是记忆的搬运，而是注意力的分配、价值的甄别与时机的把握。在OPD框架下，“选择性”并非由外部规则强加，而是内生于rollout过程本身：学生在生成每个token的当下，才触发对应位置的教师信号介入，从而自然过滤掉冗余、模糊或低信噪比的监督信息。这种以token为粒度的响应式引导，使监督不再是覆盖全程的“强光”，而成为精准落点的“聚光”，既尊重学生策略的自主性，又保障了信号传递的时效性与相关性。
### 1.3 OPD与传统蒸馏方法的对比分析
相较于传统蒸馏方法，OPD最根本的差异，在于其对“策略一致性”的坚守。传统方法多属off-policy设定：学生模型在固定数据集（如教师生成的静态语料）上训练，极易陷入暴露偏差——即训练时见惯“理想路径”，部署时却面对未曾见过的错误累积状态，导致性能断崖式下滑。而OPD通过强制学生在自身rollout中接收教师反馈，彻底消解了这一鸿沟：训练分布与推理分布天然对齐。此外，在梯度供给维度，OPD亦展现出显著优势——它绕开了强化学习中稀疏奖励带来的信号匮乏困境，以密集、细粒度的token级信号持续驱动更新，使优化过程更平滑、更可解释、更具鲁棒性。这不是两种技术的并列比较，而是一次学习逻辑的升维：从“学像谁”，走向“如何更稳地成为自己”。
## 二、OPD中的选择性监督机制
### 2.1 token级信号的解析：教师模型如何提供精细指导
token级信号，是OPD范式中最具生命力的神经末梢——它不再以整句、整段甚至整个响应为单位施加影响，而是将监督的触角伸入语言生成最微小的决策单元：每一个token的诞生时刻。在学生模型自主展开rollout的过程中，教师模型并非被动旁观，亦非事后评判；它实时感知学生当前上下文状态，并据此生成针对性极强的局部反馈。这种反馈不是笼统的“对”或“错”，而是在具体位置上提供概率分布校准、logit修正或软目标引导，其粒度之细、响应之快、耦合之深，使知识传递从“宏观复刻”跃迁至“微观协奏”。正因如此，token级信号不仅承载信息，更承载节奏与时机——它尊重学生生成的因果链，只在最关键的分岔点轻推一把，让学习既不失自主性，又不陷于盲目性。
### 2.2 选择性监督的优势：避免暴露偏差的理论基础
选择性监督之所以能从根本上规避暴露偏差，正在于它彻底否定了“训练-推理分布不一致”这一顽疾的生存土壤。暴露偏差的本质，是off-policy学习中学生被迫在教师生成的完美轨迹上反复拟合，却从未真正面对自身策略可能引发的错误累积状态；而OPD通过强制学生在自身rollout中接收监督，使每一次训练更新都锚定于真实策略所产出的上下文。此时，“选择性”并非人为筛选数据，而是由rollout动态触发：仅当学生生成某token时，该位置才激活教师信号，其余部分则保持静默。这种机制天然屏蔽了教师路径中那些学生策略永远无法抵达的状态，从而在建模层面消解了分布偏移——监督不再是强加的理想幻影，而是贴合实际能力边界的渐进托举。
### 2.3 梯度信号的稳定性：相较于强化学习的优势分析
相较于依赖稀疏奖励的强化学习，OPD所提供的梯度信号展现出显著更高的密度与稳定性。在强化学习中，奖励往往延迟、稀疏且方差巨大，导致优化过程震荡剧烈、收敛缓慢，甚至陷入局部最优；而OPD以token为单位持续注入监督信号，使每一步生成都对应可计算、可回传的梯度，形成一条平滑、连续、方向明确的优化路径。这种密集梯度不仅加速收敛，更赋予训练过程以可解释性与可控性——研究者得以观察每个token层级的学习动态，诊断偏差来源，调整监督强度。它不追求一蹴而就的峰值性能，而致力于构建一种稳健的、可复现的、经得起部署考验的成长基底。
## 三、总结
OPD（On-Policy Distillation）代表了蒸馏技术从全量模仿向选择性监督的重要范式跃迁。其核心在于学生模型在自身rollout过程中实时接收教师模型提供的token级信号，从而在根本上规避off-policy学习中的暴露偏差问题。相较依赖稀疏奖励的强化学习，OPD通过密集、细粒度的token级监督，提供更稳定、更可靠的梯度信号，显著提升训练的收敛效率与部署鲁棒性。这一机制不仅强化了训练分布与推理分布的一致性，也使知识传递更加精准、动态且可解释。当前研究正持续深化对选择性监督内在机理的理解，推动OPD在语言建模、对话系统及多模态生成等场景中走向更广泛的应用落地。
