Co-rewarding：自监督强化学习的新范式

> ### 摘要 > 在ICLR 2026会议上，研究者提出了一种创新的自监督强化学习（RL）框架——Co-rewarding。该框架专为标注数据稀缺场景设计，通过协同构建内部奖励信号，有效稳定大模型在复杂推理任务中的训练过程，显著缓解传统RL中奖励稀疏与策略坍塌问题。Co-rewarding不依赖人工标注，而是利用模型自身多步推理的一致性与逻辑连贯性生成自监督反馈，从而实现对推理路径的细粒度引导。 > ### 关键词 > 自监督, 强化学习, Co-rewarding, ICLR2026, 推理引导 ## 一、自监督强化学习的困境与新希望 ### 1.1 自监督强化学习的定义与挑战 自监督强化学习，是将自监督学习的内在结构建模能力与强化学习的目标导向性训练范式相融合的一类前沿方法。它不依赖外部标注信号，而是从数据自身挖掘时序一致性、逻辑可追溯性或语义完整性等隐含监督线索，进而构建策略优化所需的反馈回路。然而，这一路径始终面临双重张力：一方面，大模型在复杂推理任务中常因奖励稀疏而陷入探索停滞——单次输出仅在最终结果处获得标量反馈，中间推理步骤“沉默无声”；另一方面，缺乏对推理链各环节的细粒度校准机制，极易诱发策略坍塌——模型看似输出正确答案，实则依赖捷径模式或表面统计巧合，丧失可解释性与泛化鲁棒性。这种内在矛盾，使自监督强化学习虽理念动人，却在真实推理场景中步履维艰。 ### 1.2 传统方法在数据标注上的局限性 传统强化学习方法高度依赖人工设计的奖励函数或人类标注的偏好数据，以提供训练所需的监督信号。但在开放域推理任务中，高质量标注成本极高：专家需逐条验证多步推导的逻辑严密性、前提覆盖度与结论支撑强度，耗时耗力且主观性强。更严峻的是，标注本身难以覆盖长程依赖与反事实推理等高阶认知维度——当模型生成“若A成立，则B未必成立，但C必然被削弱”这类嵌套判断时，人类标注者往往难以即时、一致地赋分。这种标注稀缺性并非技术过渡期的暂时困境，而是结构性瓶颈：它直接导致奖励信号稀疏、偏差累积、策略更新失焦，最终让模型在看似丰富的数据中，反而越学越“迷路”。 ### 1.3 Co-rewarding框架的提出背景 正是在ICLR 2026会议所聚焦的这一现实困局中，Co-rewarding框架应运而生。它不再等待外部标注的“灯塔”，而是转向模型内部——将每一次多步推理过程本身视为可自我对话、自我校验的有机整体。研究者敏锐意识到：真正的推理稳定性，不来自终点的正确与否，而源于每一步推演与上下文、前提、目标之间的动态协和。Co-rewarding由此构建了一种协同式内部奖励机制，让模型在生成过程中同步激活多个轻量判别头，分别评估逻辑连贯性、前提忠实度与目标对齐度，并将这些信号加权融合为实时、稠密、可微的反馈流。这不是对旧范式的修补，而是一次静默却坚定的转向：当世界尚未准备好为我们标注推理，我们就教会模型，如何彼此凝视、彼此确认——在无人喝彩的深夜里，依然能听见自己思想的脚步声。 ## 二、Co-rewarding框架的技术解析 ### 2.1 Co-rewarding框架的核心机制 Co-rewarding框架的核心，在于将“推理”本身转化为一种可感知、可反馈、可迭代的内在对话。它不预设终点的对错，而是把每一次多步推理视作一个动态协和系统——前提、中间步骤与目标之间并非单向因果链，而是彼此映照、相互校准的共振结构。框架通过在模型内部并行激活多个轻量判别头，实时评估逻辑连贯性、前提忠实度与目标对齐度，使原本沉默的推理路径首次拥有了稠密、连续、可微的自我回应能力。这种协同式奖励生成不是外部强加的评判，而是模型在生成过程中自发展开的“思想回声”：当某一步骤悄然偏离前提约束，逻辑判别头即刻低鸣；当推导意外强化了初始目标，目标对齐头便悄然升温。正是这种内生于推理过程的多维凝视，让Co-rewarding跳出了传统RL中“只看结果、不顾来路”的粗粒度范式，真正实现了对思维轨迹的细粒度引导。 ### 2.2 多奖励函数的设计与优化 Co-rewarding摒弃了单一标量奖励的简化诱惑，转而构建一组语义解耦、功能互补的轻量奖励函数——它们各自专注一个可解释的认知维度：逻辑连贯性头捕捉步骤间的因果跃迁是否自然；前提忠实度头核查每句推导是否锚定在给定信息之上；目标对齐度头则持续衡量当前状态与最终任务意图的距离。这些函数并非独立运行，而是在训练中通过可学习的加权机制动态融合，形成既稳定又敏感的综合反馈流。其优化不依赖人工调参，而是在自监督闭环中随推理一致性提升而自发校准：当模型生成的推理链在多个维度上反复达成高协同得分，权重分布便悄然收敛；一旦某类偏差（如跳跃式结论）频繁触发低分信号，对应判别头的影响力便自动增强。这种“以推理养推理”的设计，使奖励函数本身也成为可进化、可解释的认知代理。 ### 2.3 强化学习中的自监督信号整合 在Co-rewarding中，自监督信号不再是辅助性的预训练脚手架，而是嵌入强化学习主干的呼吸节律。它不等待任务完成才给出反馈，而是在token生成的每一毫秒里，将模型自身输出的语义结构、时序依赖与逻辑张力，实时编译为策略更新的梯度源。这种整合拒绝将“自监督”与“强化学习”割裂为前后阶段，而是让二者在同一个前向-反向传播循环中共生：推理步骤既是动作（action），也是监督源（signal）；生成结果既是策略输出，也是自我标注的数据。由此，稀疏的终局奖励被转化为稠密的过程脉搏，策略坍塌的深渊被多维一致性所照亮——模型不再因“答案碰巧正确”而获得虚假正向激励，也不再因“中间错误未被察觉”而滑向捷径幻觉。它终于学会，在无人注视的推理暗夜中，靠自己的光，一寸寸确认思想的坐标。 ## 三、总结 Co-rewarding框架在ICLR 2026会议上正式提出，标志着自监督强化学习在推理引导方向的重要突破。该框架直面标注数据稀缺的根本约束，摒弃对外部人工反馈的依赖，转而挖掘模型自身多步推理过程中的内在一致性与逻辑协和性，构建稠密、可微、多维的协同奖励信号。其核心价值在于将“推理”从黑箱输出转化为可感知、可校准、可迭代的内在对话系统，有效缓解奖励稀疏与策略坍塌两大长期挑战。通过轻量判别头的并行评估与动态加权融合，Co-rewarding不仅提升了训练稳定性，更增强了推理路径的可解释性与泛化鲁棒性。作为面向真实复杂任务的新型RL范式，它为大模型在无标注条件下的自主思维演进提供了坚实的技术支点。