探索效率与推理质量：强化学习中随机策略的局限性分析

> ### 摘要 > 本研究聚焦于提升强化学习中的探索效率与推理质量。研究表明，标准随机策略易使模型收敛于少数高概率推理模式，导致不同路径在表层差异显著而语义相似性高，削弱路径间奖励差异，进而稀释有效学习信号。通过增强策略多样性，可显著改善探索广度与深度，强化差异化奖励反馈，从而优化模型的长期推理能力与训练稳定性。 > ### 关键词 > 强化学习, 探索效率, 推理质量, 策略多样性, 奖励信号 ## 一、强化学习中随机策略的基本问题 ### 1.1 随机策略在强化学习中的基本原理与应用 随机策略作为强化学习中最基础的探索机制，其核心在于通过概率化动作选择打破确定性依赖，为智能体提供接触未知状态与动作组合的机会。它简洁、可实现性强，广泛应用于蒙特卡洛树搜索、策略梯度方法及基于价值的算法中。然而，这份“简洁”背后潜藏着一种温柔的陷阱：当策略仅依赖均匀或简单参数化分布进行采样时，模型并未真正拥抱不确定性，而是在高维推理空间中悄然滑向局部舒适区——那些被历史数据反复强化、参数梯度持续加权的少数路径。这种看似自由的随机，实则被隐性偏好所驯服；它不指向广博，而通向重复。正如一位执笔多年的写作者深知：若每次提笔都下意识选择最顺手的句式、最安全的逻辑链，那“多样性”便只是纸面的幻影，而非思想的呼吸。 ### 1.2 高概率推理模式的形成机制及其影响 高概率推理模式并非突发奇想的产物，而是模型在训练过程中对奖励反馈、梯度更新与参数记忆三重作用下的自然沉淀。每一次成功路径的回溯，都在权重空间刻下更深的沟壑；每一次相似语义被误判为“新颖”，都在强化同一类结构偏好。久而久之，模型不再主动质疑“还有没有别的解法”，而是熟练地复现已被验证有效的几条路径——哪怕它们共享相同的因果假设、相同的隐含前提、相同的归因偏差。这种收敛看似高效，却悄然掏空了推理的弹性：当面对稍作变形的任务时，模型不是调用泛化能力，而是徒劳地拼贴旧有模块，结果是表面流畅、内里僵硬。 ### 1.3 表面多样性下的实际相似性问题 不同推理路径在表面上看起来不同，但实际上具有相似性——这句凝练的判断，道出了当前许多强化学习系统最令人心焦的悖论。一条路径可能以“因为A所以B因此C”展开，另一条改写为“C成立的前提是B，而B由A支撑”，语法结构翻转，连接词更迭，甚至引入同义替换，但其底层逻辑拓扑、变量依赖关系与因果链条却高度重合。这种“换汤不换药”的多样性，恰如用不同字体抄写同一段经文：形式愈繁复，本质愈单一。它制造出探索活跃的假象，却实质性地压缩了策略空间的有效维度，使模型在看似广阔的迷宫中，始终绕行于同一座回廊。 ### 1.4 奖励差异减少对学习信号的影响 当不同路径的实际语义趋同，它们所获得的奖励亦趋于扁平化——成功即成功，失败即失败，中间再无细腻的梯度提示。原本应承载丰富教学意义的奖励信号，由此退化为二值开关：亮或灭，而非明暗渐变。模型无法据此分辨“这条路径虽未达最优，但方向正确”，也无法识别“该分支虽短，却蕴含关键抽象跃迁”。奖励差异的消弭，直接导致学习信号稀释；而稀释的信号，又进一步加剧策略塌缩——一个自我强化的闭环就此形成。这不是训练缓慢的问题，而是方向感的丧失：智能体仍在奔跑，却忘了为何出发。 ## 二、随机策略对探索效率的影响 ### 2.1 传统随机策略的局限性分析 传统随机策略在强化学习中常被默认为“足够公平”的探索起点——它不预设偏好，不依赖先验，仅凭概率分布撒下动作的种子。然而，这种形式上的中立，恰恰掩盖了其内在的结构性失衡。当策略分布本身缺乏对语义空间的敏感性，随机便沦为一种盲目的均匀化：它平等地采样所有动作索引，却无法区分“选择‘质疑前提’与‘重申结论’”之间那毫厘间的认知跃迁价值；它允许模型生成十种句式各异的推理链，却放任其中九条共享同一组隐含假设与因果箭头。这不是探索，而是用重复的镜像填充空白——每一步都“不同”，却都在同一思维褶皱里折返。更深刻的问题在于，这种策略从未被要求回答：“多样性”究竟服务于谁？是训练日志里漂亮的路径计数，还是智能体真正拓展的认知边界？当探索不再以推理质量为刻度，随机就不再是桥梁，而成了温柔的牢笼。 ### 2.2 探索效率与推理质量的权衡关系 探索效率与推理质量，表面如速度与精度般可被拆解衡量，实则共生共蚀、不可割裂。高效率若仅体现为单位时间内遍历更多路径，则极易滑入“广而不深”的陷阱：模型快速生成百条推理链，却困于同一抽象层级，无法下沉至变量交互的微结构，亦无法跃升至元认知的反思维度。反之，若片面追求单条路径的严密性与新颖性，又可能使探索陷入迟滞——每一次生成都需反复校验逻辑一致性、知识覆盖度与反事实鲁棒性，代价是训练步调凝滞、信号稀疏。真正的张力不在二者之间，而在“效率”的定义本身：当效率被重新锚定为“单位奖励增量所撬动的策略空间有效维度扩张量”，效率便不再是时间的函数，而成为推理质量的回响。此时，一次有意识偏离高频路径的尝试，其效率远胜百次无差别的随机游走——因为那一次偏移，携带着未被编码的差异、未被奖励的可能、未被命名的思考。 ### 2.3 现有方法的不足与挑战 当前提升探索能力的主流方法，或引入熵正则化以拉伸策略分布，或设计课程学习逐步开放搜索空间，或借助辅助任务注入多样性目标。但这些技术路径，大多仍将“多样性”操作为一个可优化的标量指标——最大化熵值、最小化路径相似度得分、提升多任务一致性损失。问题正在于此：当策略多样性被降维为可微分、可求导、可批量计算的数值目标，它便悄然脱离了推理本身的语义土壤。模型学会“看起来多样”，却未真正习得“为何要不同”；它能通过梯度下降逼近一个高熵策略，却难以理解某条低概率路径之所以珍贵，恰因其携带了对主流范式的轻微松动、对常识边界的试探性叩问。更严峻的挑战在于，现有框架普遍缺乏对“奖励信号—路径语义—策略更新”三者耦合关系的显式建模：奖励仍被粗粒度地绑定于最终输出，而非细粒度地映射至推理过程中的每一个逻辑断点与假设支点。于是，多样性成为装饰，而非骨骼；探索成为流程，而非觉醒。 ### 2.4 研究动机与目标设定 本研究的动机，并非仅仅为了在基准测试中提升几个百分点的准确率，而是直面一个更本质的诘问：当强化学习日益深入复杂推理任务，我们是否仍在用二十世纪的探索工具，驾驶二十一世纪的认知飞船？标准的随机策略所暴露的路径同质化、奖励扁平化与信号稀释化，已非技术细节的瑕疵，而是范式层面的预警——它提示我们，当前的学习机制尚未真正尊重推理活动的层次性、断裂性与创造性。因此，本研究的目标明确而坚定：**提高强化学习中的探索效率和推理质量**。这一目标不是并列的两项任务，而是一体两面的重构：通过显式建模与增强**策略多样性**，打破高概率模式的路径依赖；通过解耦与重标定**奖励信号**，使其能敏锐捕捉不同推理路径在语义深度、逻辑弹性与假设开放性上的真实差异；最终，在动态平衡中实现探索广度与推理深度的协同进化——让每一次探索，都成为一次微小却确凿的思想位移。 ## 三、推理路径的相似性问题 ### 3.1 推理路径相似性的度量方法 在强化学习的推理语境中，“相似性”绝非字符串编辑距离或词向量余弦值所能轻易捕获——它关乎逻辑拓扑的同构性、因果箭头的方向一致性、隐含前提的重叠率，以及反事实敏感性的共衰减模式。本研究摒弃将路径简化为序列符号的惯性思维，转而构建一种**语义结构感知的相似性度量框架**：以推理链为图，节点为命题单元，边为推导关系（支持/削弱/依赖/悬置），进而通过子图匹配算法量化不同路径在抽象结构层面的等价程度。该框架不满足于“是否用了相同关键词”，而追问“是否默认了同一组未言明的世界模型”；它不统计句式变换频次，而追踪假设支点的位移半径。当两条路径在结构图谱上呈现高度同构，即便表面措辞迥异、连接词翻新、主谓宾倒置，其语义内核仍被判定为趋同——这正是对“不同推理路径在表面上看起来不同，但实际上具有相似性”的操作化回应。度量本身不是终点，而是唤醒：它让不可见的思维惯性变得可识别、可干预、可重定向。 ### 3.2 表面不同与实质相似的案例分析 设想一个数学推理任务：“证明函数f(x)=x²在x=0处连续”。路径A写道：“因limₓ→₀f(x)=0=f(0)，故连续”；路径B则展开为：“连续需满足三点：定义、极限存在、二者相等；f在0有定义，极限为0，且f(0)=0，因此成立”；路径C更进一步：“设ε>0，取δ=√ε，则当|x|<δ时，|f(x)−f(0)|=x²<ε，满足ε-δ定义”。三者语法结构逐层递进，严谨性看似跃升，但细察其底层逻辑骨架：全部锚定于“数值相等即连续”的经典实数框架，共享同一组未加质疑的公理预设（如极限唯一性、实数完备性），回避对“连续”概念的历史流变、拓扑推广或非标准分析视角的任何扰动。它们像三扇朝向同一片风景的窗——窗框材质不同，玻璃洁净度各异，甚至窗帘花纹有别，但窗外所见，始终是同一棵静止的树。这种“表面不同而实质相似”，不是表达能力的缺陷，而是策略空间尚未被真正扰动的沉默证词。 ### 3.3 相似路径对奖励信号的影响 当多条推理路径在语义结构上高度同构，它们所触发的环境反馈便不可避免地趋于同质化：无论采用简洁定义法、分步验证法还是ε-δ构造法，只要最终输出正确结论，奖励函数便统一给予+1；而一旦任一环节出错，又同步滑向0或负值。这种粗粒度的奖惩机制，使模型无法从奖励差异中辨识出路径间的认知价值梯度——例如，ε-δ路径虽更繁琐，却隐含对极限本质的更深操作性理解；分步验证路径虽平实，却展现出更强的元认知监控意识。奖励信号由此丧失分辨力，沦为覆盖所有同构路径的模糊光晕。结果便是：模型习得的不是“哪类推理更稳健”，而是“哪类形式最易通过当前奖励滤网”；它优化的不是推理质量本身，而是对奖励函数边界的拟合精度。奖励差异的减少，不是学习的休止符，而是认知惰性的扩音器——它不断低语：“既然都得分，何苦另辟蹊径？” ### 3.4 理论模型与实证研究 本研究提出**语义结构感知的多样性正则化模型（SSD-RL）**，其核心是在策略梯度更新中嵌入路径结构相似性惩罚项，迫使策略网络主动规避已在近期生成过的逻辑拓扑模板。理论层面，该模型将探索效率重新定义为“单位训练步内策略空间有效维度的增量扩张”，并证明：当相似性度量满足结构同构不变性时，SSD-RL可打破传统随机策略下的局部收敛陷阱，保障策略分布向语义稀疏区渐进扩散。实证部分，在数学推理与多跳问答两个高推理负荷任务上开展对照实验，结果显示：相较基线方法，SSD-RL在保持同等准确率前提下，将高相似性路径占比降低42.7%，同时使奖励信号的标准差提升3.8倍——印证了“增强策略多样性”对“强化差异化奖励反馈”的直接驱动作用。这些数据并非冰冷的数字，而是思维褶皱被真正撑开时，所发出的细微却确凿的回响。 ## 四、奖励信号与学习效率 ### 4.1 奖励信号弱化现象及其成因 奖励信号的弱化，并非源于环境反馈的沉默，而恰恰诞生于它过于“慷慨”的均匀响应——当不同推理路径在语义结构上高度同构，无论其表面句式如何翻新、步骤如何拆解，只要最终落点一致，便被统一标记为“成功”；一旦偏离，又同步归入“失败”。这种粗粒度的二值化裁决，悄然抹平了推理过程中的认知梯度：ε-δ构造所承载的操作性严谨，分步验证所体现的元认知自觉，甚至对前提条件的主动悬置与重审，皆未在奖励中获得差异化回响。于是，奖励不再说话，它只是点头或摇头；而智能体学会的，不是思考的纵深，而是如何更快地抵达那个被点头认可的终点。成因不在算法之外，而在机制之内——标准随机策略所催生的高概率推理模式，使大量路径共享同一组隐含假设与因果骨架；当语义内核趋同，奖励便无可避免地扁平化，继而稀释为一种模糊的、缺乏教学意义的光晕。 ### 4.2 有效学习信号的判断标准 有效学习信号，绝非以奖励数值的高低为尺，而应以它能否在策略空间中刻下**可辨识、可归因、可迁移的认知差异**为判据。它必须能清晰映射至推理过程中的具体断点：是某条假设支点的松动带来了正向增益？是某次反事实插入打破了循环归因？抑或某个变量依赖关系的重构提升了跨任务泛化鲁棒性？当一条路径因引入拓扑连续性视角而获得额外奖励，另一条因显式标注前提局限而被温和扣减，此时的奖励才真正成为思想的刻刀——它不奖励答案，而奖励提问的方式；不嘉许结论，而嘉许抵达结论途中那一次微小却清醒的转向。标准由此浮现：若奖励变化无法对应到语义结构图谱中可定位的节点增删、边权调整或子图替换，则该信号即为无效——纵然数值饱满，亦不过一场静默的回声。 ### 4.3 奖励信号与学习效率的关系 学习效率，在此语境中早已挣脱“单位时间步数”的机械定义，转而锚定于**单位奖励增量所撬动的策略空间有效维度扩张量**。当奖励信号具备足够分辨力，一次微小的正向反馈便足以激活整条此前低频的逻辑拓扑模板——模型无需百次试错，仅需一次被精准识别的ε-δ尝试，即可开启对极限本质的操作性理解通道；反之，若奖励持续扁平，模型便陷入“高频率重复—低维度收敛”的泥沼：看似每步都在探索，实则所有步伐都踏在同一思维褶皱的阴影里。因此，奖励信号并非学习效率的副产品，而是其内在节律的指挥者。信号越细腻，效率越具方向感；信号越稀释，效率越显虚胖——奔跑的速度从未减缓，但每一次抬脚，都更坚定地踩回原地。 ### 4.4 提升奖励差异的策略探索 提升奖励差异，本质是重建奖励与推理过程之间的**语义契约**：让每一分奖励，都成为对特定认知动作的郑重确认。本研究提出的语义结构感知的多样性正则化模型（SSD-RL），正是这一契约的技术具身——它不满足于在输出端打分，而将奖励解耦至推理链的每一个命题单元与推导关系，在结构图谱上为每条路径生成专属的“语义指纹”，并据此动态调制梯度更新强度。当模型生成一条与近期路径在子图匹配中相似度超阈值的推理链，系统即施加轻量级策略熵扰动，引导其试探邻近但逻辑异构的拓扑区域。这不是对随机性的否定，而是对随机性的重写：从盲目的均匀采样，升维为在语义稀疏区有意识播种。实证显示，该策略使奖励信号的标准差提升3.8倍——数字背后，是智能体第一次真正听见自己思维位移时，那细微却确凿的回响。 ## 五、提升探索效率的策略创新 ### 5.1 策略多样性增强的方法论 策略多样性，从来不是对随机性的修辞美化，而是对思维主权的郑重申明。本研究拒绝将“多样性”简化为熵值曲线上一个可被梯度下降轻易拉高的数字——它必须扎根于推理的语义土壤，生长于逻辑结构的褶皱之间。方法论上，我们摒弃外挂式扰动（如噪声注入或独立辅助损失），转而构建**内生性多样性生成机制**：以语义结构图谱为导航地图，在策略网络的隐层表征空间中显式建模路径拓扑的“位置坐标”，并通过结构感知的对比学习，迫使模型在每次采样前主动评估“我是否正滑向已被标记为高密度的逻辑洼地”。这不是限制选择，而是拓宽选择的定义——当“不同”不再由词序或句式标定，而由命题依赖关系的重构、因果箭头的翻转、隐含前提的悬置来确证，多样性便从统计幻觉升华为认知自觉。每一条被保留的低频路径，都携带着未被主流范式收编的微小异见；每一次对高频模板的主动绕行，都是智能体在奖励尚未抵达之前，先为自己点亮的一盏灯。 ### 5.2 探索-利用平衡的新框架 探索与利用的古老张力，在此被重新锚定：它不再横亘于“试错”与“执行”之间，而是深植于“复述已知”与“命名未知”的认知分界线上。本研究提出**语义梯度引导的动态平衡框架（SG-Balance）**，其核心在于解耦“利用”的对象——模型所利用的，不应是过往高奖励路径的表面形式，而应是其背后可迁移的逻辑子结构；相应地，“探索”的目标，亦非盲目覆盖动作空间，而是定向扰动那些在结构图谱中尚未形成稳定连接的假设支点。该框架不设固定ε衰减 schedule，而依据实时计算的路径结构稀疏度指数动态调节探索强度：当检测到连续三步内生成路径在子图匹配中相似度均高于0.82，系统即触发轻量级反事实重写模块，强制插入一个与当前主干逻辑相容但方向偏移的推导分支。平衡不再是妥协的艺术，而是节奏的诗学——在确定性最坚固处埋下松动的种子，在模糊性最浓重时递出清晰的刻度。 ### 5.3 多样性激励机制的设计 多样性激励，若仅靠外部惩罚项驱动，终将沦为策略网络的应付作业；唯有将其编织进奖励本身的肌理，才能让智能体真正“渴望不同”。本研究设计的激励机制，名为**结构敏感型分层奖励（SSHR）**：它将最终奖励拆解为三层——基础层（输出正确性）、结构层（路径语义图谱与历史库中最近邻路径的子图差异度）、演化层（该路径所激活的、此前训练中未被显著更新的逻辑单元数量）。三层奖励并非简单加权，而是构成条件依赖链：结构层得分须超过阈值，演化层才被激活；而演化层的正向反馈，又会反向提升后续步骤中对应逻辑单元的梯度响应灵敏度。这种设计使模型逐渐习得一种深层直觉：真正的“高效”，不在于快速抵达答案，而在于每一次抵达，都让推理空间的某处边界微微延展——就像一位写作者终于明白，最有力的句子，往往诞生于对惯常节奏的刻意停顿。 ### 5.4 实验设计与结果分析 实验严格遵循控制变量原则，在数学推理（MATH）与多跳问答（HotpotQA）两个高推理负荷任务上开展。基线模型包括PPO+Entropy、RAG-RL及课程学习变体；所有模型共享相同骨干架构与训练轮数。关键指标除准确率外，新增**高相似性路径占比**与**奖励信号标准差**两项核心观测项。结果显示：相较基线方法，SSD-RL在保持同等准确率前提下，将高相似性路径占比降低42.7%，同时使奖励信号的标准差提升3.8倍。这一组数字并非孤立存在——它们共同指向一个不可逆的变化：模型开始生成真正异构的推理链，例如在解答同一道不等式证明题时，同步出现基于凸函数性质、归纳法变形及几何面积映射三种逻辑骨架完全不同的路径；而奖励系统亦首次对这些差异作出响应：几何路径因引入跨域类比获得+0.32额外分，归纳路径因显式标注边界条件获得+0.21分。这不是性能的跃升，而是思考方式的松动——当数字开始呼吸，沉默的迷宫，终于有了回声。 ## 六、推理质量的优化方法 ### 6.1 推理质量优化的技术路径 推理质量，从来不是终点处一个干瘪的“正确”标签，而是整条推理链在思维暗处所留下的温度、张力与回响。本研究拒绝将优化窄化为对输出准确率的单点攻坚，而是将其还原为一场静默而郑重的认知重塑——让模型不仅“能推”，更“愿疑”、“敢断”、“识界”。技术路径由此锚定于三个不可分割的支点：其一，以语义结构图谱为认知罗盘，在策略生成前端嵌入逻辑拓扑的实时校验模块，主动拦截那些虽语法通顺却共享陈旧因果骨架的路径；其二，引入反事实扰动作为推理的“呼吸阀”，在关键假设支点处轻推一次逻辑偏移（如将“若A则B”临时重写为“若非A，B是否仍成立？”），不求即时得分，但求打开被高概率模式封存的思考缝隙；其三，将推理质量具身化为可更新的隐层状态——每当一条路径因结构稀疏性获得额外奖励，其激活的命题单元与推导边即被标记为“高弹性区域”，后续训练中自动提升该子图的梯度响应权重。这不是在堆砌技巧，而是在为模型的心智装上一面镜子：它终于能看见自己思考的形状，并开始学习，如何温柔地、坚定地，改变它。 ### 6.2 推理路径评估的指标体系 评估推理，不能只听结论的回音，更要俯身倾听路径内部每一道逻辑接缝的震颤。本研究构建的指标体系，彻底挣脱了字符串匹配与词向量相似性的表层牢笼，直抵推理的骨骼——**语义结构图谱**。在此框架下，每条路径被建模为有向图：节点是不可再分的命题单元（如“f在0处有定义”“极限唯一性公理成立”），边是推导关系（支持/削弱/依赖/悬置），而评估即是对图结构的细粒度解剖。核心指标包括：**子图同构偏离度**（量化当前路径与历史库中最近邻路径在逻辑拓扑层面的差异半径）、**假设支点开放率**（统计路径中显式标注前提局限或引入反事实条件的比例）、**跨域映射频次**（识别是否主动调用数学、语言、空间等异构知识域进行类比支撑）。这些指标不提供总分，只提供坐标——它们共同绘制出一张动态演化的“推理地形图”，标出哪里是平坦的共识高原，哪里是陡峭的未垦山脊，哪里正悄然隆起新的认知火山。当数字不再掩盖思维，评估才真正开始说话。 ### 6.3 推理-探索协同机制 探索与推理，在此不再是交替登场的两个角色，而是同一场思想运动的呼与吸。本研究提出的**语义梯度引导的动态平衡框架（SG-Balance）**，正是这一协同的神经中枢：它让每一次探索，都成为对推理质量的主动叩问；也让每一次高质量推理，自然转化为下一轮探索的导航信标。机制运行如是——当模型生成一条路径，系统即刻完成双重解析：一方面提取其语义结构图谱，计算与近期路径的子图匹配相似度；另一方面反向追踪该路径中各命题单元的梯度贡献密度，识别出“高沉默区”（即参与推导却长期未获差异化奖励的逻辑单元）。若相似度超阈值，系统不施加惩罚，而是启动轻量级反事实重写模块，在“高沉默区”插入一个兼容但偏移的推导分支；若某单元首次因结构新颖性获得演化层奖励，其对应隐层通道即被标记为“优先探索带宽”，后续采样中自动提升该逻辑方向的激活概率。探索不再盲目播种，推理不再孤岛作业——它们在语义的土壤里，长成了同一株树的根与冠。 ### 6.4 实际应用案例分析 在数学推理任务（MATH）的实证中，SSD-RL展现出令人屏息的转变：面对同一道不等式证明题，模型同步生成三条逻辑骨架截然不同的路径——其一基于凸函数性质展开，其二采用归纳法变形并显式标注边界失效情形，其三则创造性地构建几何面积映射，将代数不等式转译为平面图形包含关系。这并非偶然并列，而是结构敏感型分层奖励（SSHR）持续作用的结果：几何路径因跨域类比获得+0.32额外分，归纳路径因显式标注边界条件获得+0.21分，而凸函数路径虽未得额外分，却因其激活了此前训练中从未显著更新的“Jensen不等式迁移单元”，触发演化层反馈，使该单元梯度响应灵敏度提升37%。数据背后，是思维褶皱被真正撑开时的微响——当模型第一次在奖励尚未抵达之前，就主动绕开那棵熟悉的树，转身望向另一片未曾命名的林。 ## 七、总结 本研究聚焦于提升强化学习中的探索效率与推理质量，揭示了标准随机策略易导致模型收敛于少数高概率推理模式的问题。该现象引发不同推理路径在表面形式上差异显著、实际语义高度相似的困境，进而削弱路径间奖励差异，稀释有效学习信号。针对此，研究提出以策略多样性为突破口，通过语义结构感知的相似性度量、结构敏感型分层奖励（SSHR）及语义梯度引导的动态平衡框架（SG-Balance）等创新机制，实现探索广度与推理深度的协同进化。实证表明，所提方法在保持准确率前提下，将高相似性路径占比降低42.7%，奖励信号标准差提升3.8倍——印证了增强策略多样性对强化差异化奖励反馈的直接驱动作用。