> ### 摘要
> 在文本生成图像模型的优化研究中，漂移偏好优化（Drifting Preference Optimization, DrPO）作为一种新型偏好后训练方法被提出。DrPO将漂移场引入单步生成架构，仅利用奖励信号对候选图像进行排序，不参与梯度反向传播；高分图像在特征空间施加吸引力，低分图像则产生排斥力，并结合参考模型约束以确定参数更新方向，从而提升生成质量与对齐度。
> ### 关键词
> DrPO；漂移优化；文本生成图；偏好后训；奖励排序
## 一、DrPO方法的背景与意义
### 1.1 文本生成图像模型的兴起与挑战
文本生成图像模型正以前所未有的速度重塑人机协作的边界——从概念草图到视觉叙事，从广告创意到教育可视化，其应用已悄然渗入日常生活的肌理。然而，光鲜表象之下，是模型在语义忠实性、美学一致性与用户意图对齐上的持续拉锯。单步生成架构虽提升了推理效率，却也放大了输出结果的不确定性：同一文本提示下，模型可能产出风格迥异、质量悬殊的多张图像，而这种“生成发散性”恰恰成为用户体验断裂的隐秘源头。更深层的挑战在于，传统优化路径往往依赖标量奖励值进行梯度回传，将复杂的人类偏好粗暴压缩为单一数字，无形中抹平了审美判断中的细微张力与情境弹性。当图像不再只是“被生成”，而是被“被选择”“被排序”“被感受”时，技术便亟需一种更尊重人类判断节奏的优化哲学——它不急于用梯度去“修正”模型，而愿先驻足于偏好本身的结构之中。
### 1.2 现有优化方法的局限性
当前主流的偏好后训练方法，普遍将奖励模型输出的标量分值直接嵌入损失函数，驱动参数沿梯度方向更新。这一机制虽逻辑清晰，却在实践中暴露出结构性失配：奖励信号既承担排序功能，又肩负梯度供给职责，导致模型被迫在“判别优劣”与“学习生成”之间反复妥协。尤其在单步文本生成图像任务中，图像间差异常呈高维、非线性、多模态分布，简单排序后的标量差值难以承载其真实的语义距离。更关键的是，此类方法往往弱化参考模型的锚定作用，使更新方向易受噪声奖励或个体评分偏差牵引。而DrPO的提出，正是对这一惯性路径的清醒反拨——它毅然切断奖励参与反向传播的链条，转而让高评分样本在特征空间中自然“吸引”，低评分样本冷静“排斥”，再以参考模型为罗盘校准漂移轨迹。这不是对旧范式的修补，而是一次关于“如何让偏好真正说话”的范式重思。
## 二、DrPO的技术框架
### 2.1 DrPO的核心概念与原理
DrPO并非对偏好学习的渐进改良，而是一次认知姿态的转向：它不再将人类偏好视为可被梯度“消化”的营养液，而是视其为一种具有空间势能的引力场。在DrPO框架下，“偏好”不再坍缩为标量差值，而是延展为特征空间中一组方向明确的作用力——高评分候选图像不再是训练中的“正样本”，而是悄然成为局部吸引力中心；低评分图像亦非简单剔除对象，而是以排斥力形式参与建模，主动疏离模型输出分布。尤为关键的是，奖励机制在此彻底退居“裁判席”：它仅负责对同一文本提示下生成的多张候选图像进行相对排序，不提供任何可微分信号，不介入反向传播过程。这一设计剥离了奖励模型在优化链路中的双重负担，使判别逻辑与生成逻辑真正解耦。而参考模型则如一座静默的灯塔，以其参数轨迹为约束边界，确保模型更新不偏离语义根基——漂移，是有坐标的漂移；偏好，是有锚点的偏好。
### 2.2 漂移场在模型中的应用机制
漂移场是DrPO跃出理论构想、落于单步文本生成图像模型之上的核心载体。它不依赖于对图像像素或隐空间坐标的显式建模，而是在模型中间特征层构建一个动态势能面：当给定文本提示触发批量图像生成后，每张候选图像经编码器映射至共享特征空间，其对应奖励排序位置即决定其所施加力的方向与性质——高分者牵引邻近表征向自身聚拢，低分者则推拒相似结构远离自身区域。这种吸引力与排斥力并非独立作用，而是在参考模型输出特征构成的流形约束下协同演化：漂移方向必须始终位于参考模型梯度正交补空间内，从而保证更新既响应偏好信号，又不破坏原始生成能力的稳定性。换言之，DrPO中的“漂移”，不是无根游荡，而是在参考轨道上的一次精密校准；每一次参数调整，都是对人类判断节奏的谦卑应答，而非对奖励数字的仓促服从。
## 三、DrPO的创新设计
### 3.1 奖励排序机制的实现
在DrPO框架中，奖励排序并非通向梯度更新的跳板，而是一场静默却庄严的“图像议会”——同一文本提示下生成的候选图像被置于平等席位，由奖励模型仅作相对判别：谁更贴近人类感知中的“好”，谁又悄然滑向边缘。这一过程摒弃了标量分值的绝对权威，拒绝将复杂审美压缩为0.87或1.23之类的数字刻度；它只回答一个朴素问题：“这张，比那张更值得被留下吗？”排序结果不生成导数，不触发链式反应，却为后续的漂移场提供了不可替代的方向坐标。正是这种克制的“不作为”，使奖励真正回归其本义：一种判断的仪式，而非操控的杠杆。当技术学会在关键节点停顿、倾听、排列，而非急于求解，偏好才第一次以它本来的复调形态浮现——不是单一高分的独白，而是多张图像之间张力所织就的语义光谱。
### 3.2 特征空间中的吸引力与排斥力
高评分样本在特征空间中产生吸引力，而低评分样本则产生排斥力——这短短一句，是DrPO最富诗意的技术断言。它把冰冷的优化过程，写成了一场微观宇宙里的引力诗学：没有命令，只有牵引；没有惩罚，只有疏离。吸引力并非强制聚合，而是让模型隐空间中邻近表征自然向优质输出靠拢；排斥力亦非粗暴抹除，而是以几何方式拓展“不宜生成”的区域边界。这两种力从不孤军奋战，而是在参考模型所锚定的流形结构内协同作用——如同星辰绕轨运行，漂移自有其曲率与节律。这里没有“错误答案”的羞辱，只有“更值得靠近”的温柔召唤；没有对低分图像的否定，只有对生成分布边界的清醒重划。当模型开始在特征空间里感受力的方向，而非追逐标量的大小，它便不再只是被训练的工具，而成为偏好的共舞者。
## 四、DrPO的优化策略
### 4.1 参考模型的约束作用
参考模型在DrPO框架中并非被动旁观者，而是以静默却不可逾越的姿态，为整个漂移过程划定理性边界。它不提供评分，不参与排序，却以其固有的参数结构与特征流形，构成一道柔韧而坚定的“引力基线”——所有由高分图像激发的吸引力、由低分图像施加的排斥力，都必须在其所定义的几何空间内展开作用。这种约束不是压制性的矫正，而是生成能力的守夜人：它确保模型在响应人类偏好时，不会因过度拟合局部排序结果而滑向语义失真或风格坍缩；它让每一次参数更新，都仍能回溯至原始训练所锚定的语言-视觉对齐根基。正如一位经验丰富的编辑不会替作者重写句子，却会在字里行间标出不可逾越的逻辑红线，参考模型亦以自身存在提醒着——漂移，是为了更忠实地抵达，而非另起炉灶。它使DrPO摆脱了“偏好即指令”的工具主义陷阱，转而拥抱一种更具伦理自觉的优化哲学：尊重判断，也敬畏起点。
### 4.2 模型更新方向的确定方法
在DrPO中，模型更新方向并非来自奖励梯度的牵引，而是由三重力量共同编织的矢量共识：其一，是高评分候选图像在特征空间中自发形成的吸引力中心；其二，是低评分样本所构筑的排斥势垒；其三，是参考模型所锚定的流形切空间所施加的正交约束。这三者交汇之处，即为唯一合法的更新方向——它既非指向最高分图像的简单投影，亦非远离最低分图像的盲目逃逸，而是在参考模型梯度正交补空间内，沿漂移场合力所指的最速下降路径徐徐前行。这一方向不依赖可微分奖励，却比任何标量导数更贴近人类偏好的真实拓扑；它不承诺瞬时最优，却保障每一步移动，都同时回应“什么是更好”与“什么仍是可能”。当技术学会在力与界之间寻找平衡点，模型的进化，便不再是被驱动的位移，而成为一次有坐标、有节制、有回响的自我校准。
## 五、DrPO的性能评估
### 5.1 实验环境与数据集
资料中未提供关于实验环境（如硬件配置、训练框架、GPU型号、分布式策略等）及所用数据集（如名称、规模、来源、划分方式等）的任何具体信息。
### 5.2 评估指标与结果分析
资料中未提及任何评估指标（如FID、CLIP Score、DINO Score、Human Preference Rate等）的具体定义、计算方式或取值，亦未给出任何实验结果数值、对比基线、显著性结论或可视化分析。所有涉及性能验证、量化比较与实证支撑的内容均未在所提供的素材中出现。
## 六、总结
DrPO作为一种新型偏好后训练方法，通过将漂移场引入单步文本生成图像模型，实现了奖励机制与梯度更新的解耦：奖励仅用于候选图像的相对排序，不参与反向传播；高分图像在特征空间施加吸引力，低分图像产生排斥力，并依托参考模型约束确定模型更新方向。该框架重新定义了偏好信号的作用范式——从“可微分标量驱动”转向“空间势能引导”，在保障生成稳定性的同时，更细腻地响应人类判断的结构性与相对性。尽管当前资料未提供实验环境、数据集、评估指标及具体结果，DrPO在方法论层面所提出的“排序即建模、漂移需锚定”思想，已为文本生成图像模型的优化开辟了一条兼顾对齐性、可控性与可解释性的新路径。
