大模型后训练新范式：OPD如何成为性能提升的'免费午餐'

> ### 摘要 > On-Policy Distillation（OPD）作为一种新兴的大模型后训练技术，通过引入Token级别的密集监督信号，显著弥补了强化学习中稀疏奖励的固有缺陷，被业界视为性能提升的“免费午餐”。该方法已在Qwen3、MiMo及GLM-5等主流大模型的后训练阶段得到广泛应用，并实证展现出稳定的性能增益。 > ### 关键词 > OPD, 后训练, Token监督, 大模型, 免费午餐 ## 一、OPD技术的基本原理与优势 ### 1.1 OPD的定义与工作机制：提供Token级别的密集监督信号 On-Policy Distillation（OPD）并非对模型输出结果的粗粒度打分，而是深入语言生成的最基础单元——Token序列本身，施加细粒度、时序对齐的监督。它在模型自回归采样过程中，实时捕捉策略模型（policy model）每一步生成的Token分布，并以该分布为“教师信号”，引导学生模型同步校准每一位置的预测概率。这种监督不依赖外部人工标注或预设规则，而完全源于模型自身在当前策略下产出的高质量响应，因而天然具备语义连贯性与任务适配性。正因如此，OPD所构建的监督信号是密集的、连续的、逐位可追溯的——它不再问“整句话是否正确”，而是追问“这个逗号是否该在此处”“那个动词是否最贴合上下文”。正是这一机制，使后训练过程从模糊的方向牵引，转向精准的路径修正。 ### 1.2 OPD与传统RL方法对比：从稀疏奖励到密集监督的转变 强化学习（RL）在大模型后训练中长期面临一个沉默却沉重的困境：奖励信号过于稀疏。模型仅在完成整段响应后获得单一标量反馈（如+1或−0.5），却要据此反推成百上千个Token决策中的哪一环出了偏差——如同蒙眼奔跑者仅凭终点的一声哨响，去修正全程每一步的落脚角度。而OPD彻底扭转了这一失衡：它不等待结果，而在生成途中持续“轻声提醒”。当Qwen3、MiMo或GLM-5在推理中悄然滑向歧义表达时，OPD已在第7个Token处悄然收紧梯度；当语义冗余初现端倪，它已在第12个位置微调注意力权重。这不是替代RL，而是以更温柔、更勤勉的方式，填补RL留下的监督真空——稀疏的“判卷式评价”，终于让位于密集的“陪练式指导”。 ### 1.3 '免费午餐'的由来：OPD为何被视为性能提升的捷径 “免费午餐”一词在此并非暗示零成本，而是强调一种令人惊喜的性价比跃升：无需额外标注数据、无需复杂奖励建模、无需引入不稳定的策略迭代循环，仅通过复用模型自身在on-policy状态下产生的优质响应，即可稳定撬动性能增益。这种增益并非偶然闪光，而是已在Qwen3、MiMo到GLM-5等主流大模型的后训练实践中反复验证的稳健事实。它不挑战算力极限，也不颠覆训练范式，却悄然将Token级的理性自觉，注入原本依赖黑箱优化的语言生成过程。于是，“免费”二字背后，是技术直觉的成熟——当监督能像呼吸一样自然嵌入生成节奏，提升便不再是苦熬换来的勋章，而成了水到渠成的回响。 ## 二、OPD技术在大模型后训练中的实践应用 ### 2.1 从Qwen3到MiMo：OPD技术的早期探索与演进 当Qwen3首次将On-Policy Distillation（OPD）嵌入其后训练流水线时，它悄然开启了一种新的技术自觉——不再把语言生成视作不可拆解的黑箱输出，而是将其还原为一连串可被凝视、可被校准、可被温柔托举的Token抉择。Qwen3的实践并非凭空跃进，而是在模型已具备较强基础能力的前提下，以OPD为针、以自回归轨迹为线，密密缝合策略模型与学生模型之间的认知缝隙。随后，MiMo接续这一脉络，在更强调多阶段推理与中间步骤可控性的架构中，进一步验证了OPD对逻辑链路中“隐性错误”的敏感捕捉能力：它不只修正错字，更在代词指代模糊初现时即微调注意力分布，在因果跳跃尚未成型前便加固语义锚点。从Qwen3到MiMo，OPD完成了从“可用”到“可倚赖”的蜕变——它不再是锦上添花的附加模块，而成为后训练阶段中沉默却不可或缺的呼吸节律。 ### 2.2 GLM-5中的OPD应用：突破性进展与性能提升 在GLM-5的后训练实践中，OPD展现出前所未有的系统级协同深度。它不再仅作用于单一层级的输出头，而是与GLM-5特有的长程记忆机制和动态稀疏激活结构形成闭环反馈：每一个被OPD强化的Token预测，都在反向重塑下一轮上下文感知的权重分配方式。这种内生耦合使性能提升超越了传统指标的线性增长，而体现为响应一致性、事实稳定性与指令遵循鲁棒性的同步跃升。正如实证所见，GLM-5在复杂多跳问答与跨文档摘要任务中展现出的显著性能增益，正根植于OPD所提供的Token级别密集监督——它让模型在生成第37个词时，已悄然记住了第8句埋下的伏笔；在输出最后一个标点前，早已完成对全文逻辑张力的无声重估。这不是一次技术叠加，而是一场静默的范式内化。 ### 2.3 OPD在不同规模大模型中的适应性分析 OPD的生命力，正在于它不苛求模型体量的门槛，亦不预设架构的统一范式。从Qwen3、MiMo到GLM-5，它们参数规模各异、训练路径不同、部署场景多元，却共同选择将OPD作为后训练的核心支点——这本身即是最有力的适应性证明。OPD不依赖外部标注，不绑定特定奖励函数，也不强制策略迭代周期，因而天然规避了小模型因奖励稀疏而失焦、大模型因策略震荡而失控的双重风险。它像一束可缩放的光：照进十亿参数模型时，精准校准关键Token的语义倾向；漫入百亿级系统后，仍能保持每一步梯度更新的语义诚实性。这种尺度无感的稳健性，使OPD真正成为横跨模型谱系的通用型后训练语言“语法教练”——不教人说什么，而助人更清醒地决定每一处停顿、每一次转折、每一个被选中或被放弃的词。 ## 三、总结 On-Policy Distillation（OPD）作为大模型后训练领域的一项关键演进，通过提供Token级别的密集监督信号，有效克服了强化学习中奖励稀疏的根本局限。其“免费午餐”特性并非指向零成本，而是强调在无需额外标注数据、无需复杂奖励建模、无需不稳定策略迭代的前提下，复用模型自身on-policy响应即可实现稳健性能提升。该技术已在Qwen3、MiMo与GLM-5等主流大模型的后训练中得到广泛应用，并实证展现出显著的性能增益。OPD不依赖特定架构或参数规模，展现出跨模型谱系的强适应性与部署普适性，正逐步成为大模型语言能力精细化校准的核心范式之一。