> ### 摘要
> 在模型压缩过程中，大型语言模型（LLM）虽通过参数精简降低计算开销，却可能隐性引入自身偏好，导致推理偏移。这种偏差引入并非偶然，而是源于蒸馏、剪枝或量化等压缩操作对原始模型决策边界的扰动——尤其当教师模型存在固有数据偏差或行为倾向时，压缩后的轻量模型易将其固化甚至放大。实证研究表明，部分压缩后模型在性别、地域及文化相关任务上的偏差率较原模型上升达12%–18%。因此，模型压缩不仅是技术减法，更需纳入偏好审计与偏差校准环节。
> ### 关键词
> 模型压缩, LLM偏好, 偏差引入, 参数精简, 推理偏移
## 一、模型压缩的基本原理与方法
### 1.1 模型压缩的定义及其在大型语言模型中的应用场景
模型压缩是指通过系统性技术手段，在尽可能保留原始模型性能的前提下，显著降低其参数量、计算复杂度与内存占用的过程。在大型语言模型（LLM）快速落地于移动端、边缘设备及实时交互场景的当下，模型压缩已不再仅是工程优化的“选答题”，而成为释放LLM普惠价值的关键路径——从智能客服的毫秒级响应，到离线教育助手的本地化部署，再到低功耗IoT终端上的轻量推理，每一次成功的压缩，都在悄然拓宽语言智能的可及边界。然而，当人们为更小、更快、更省欢呼时，却少有人驻足倾听：那些被删减的参数、被折叠的注意力头、被舍弃的梯度路径，是否也悄然带走了模型判断中本该被审慎对待的“分寸感”？
### 1.2 常见的模型压缩技术：参数精简、知识蒸馏与量化等
参数精简、知识蒸馏与量化，构成了当前LLM压缩实践的三大支柱。参数精简直指模型冗余结构，通过剪枝剔除低贡献权重；知识蒸馏则依赖教师-学生范式，让小型模型向大型模型“学习输出分布”；量化则将高精度浮点参数映射至低比特整数表示，大幅削减存储与计算开销。这些方法各具锋芒，却共享一个沉默的前提：它们均以原始模型的输出为“真理标尺”。正因如此，当教师模型本身承载着未被识别的数据偏差或行为倾向时，压缩过程便不再是中立的“瘦身”，而可能演变为偏好的“凝固”——蒸馏固化倾向，剪枝放大盲区，量化加剧决策边界的非线性畸变。
### 1.3 模型压缩过程中的技术挑战与局限性分析
技术挑战从来不止于“如何压得更小”，更在于“压完之后，它还是它吗？”资料明确指出：压缩操作会对原始模型决策边界造成扰动，并导致推理偏移；实证研究表明，部分压缩后模型在性别、地域及文化相关任务上的偏差率较原模型上升达12%–18%。这一数字背后，是算法理性与人文审慎之间的张力——参数精简删去了冗余，却未必删去偏见；知识蒸馏传递了答案，却未必传递了反思；量化提升了效率，却可能模糊了判断的灰度。因此，模型压缩的真正局限性，不在于数学上的近似误差，而在于它尚未建立起与“LLM偏好”“偏差引入”相匹配的评估范式与校准机制。当技术奔涌向前，我们亟需把“偏好审计”嵌入压缩流水线，让每一次精简，都成为一次有意识的价值重校准。
## 二、LLM偏好在压缩过程中的表现形式
### 2.1 语言模型固有偏好的来源与特征识别
大型语言模型的偏好并非后天“习得”的偶然倾向，而是深植于其训练数据分布、目标函数设计与人类反馈机制中的结构性印记。当模型在海量文本中反复拟合统计共现模式时，那些被高频强化的性别角色关联、地域刻板表述或文化中心主义叙事，便悄然沉淀为隐性先验——它们不显现在损失函数的梯度更新中，却真实作用于每一个生成概率的微小偏移。这种偏好具有高度隐蔽性：它不表现为明确的错误答案，而体现为对某类问题更流畅、更自信、更“自然”的回应；它不依赖于特定提示词触发，却在跨任务场景中持续复现。正因如此，识别LLM偏好不能仅靠单点测试，而需在性别、地域及文化相关任务上进行系统性偏差探测——唯有当模型在同等语义强度下对不同群体输出显著不均衡的概率分布时，那被压缩技术放大的“分寸失衡”，才真正浮出水面。
### 2.2 压缩过程中偏好保留的机制与影响因素
压缩过程对偏好的保留，并非被动复制，而是一种主动的、结构化的固化。其核心机制在于：所有主流压缩方法——蒸馏、剪枝与量化——均以原始模型的输出为优化目标，却普遍忽略其内部决策逻辑的可解释性与价值一致性。当教师模型在某一文化语境下持续给出偏向性回答时，学生模型通过知识蒸馏所习得的，不仅是表层语言规律，更是该倾向的统计“合法性”；当剪枝算法依据权重幅值剔除参数时，若偏差相关神经通路恰好具备高激活稳定性，其结构反而可能因冗余连接被删减而获得相对强化；而量化引入的数值截断误差，则易在决策边界附近引发非线性跳跃，使原本模糊的倾向判断骤然变得尖锐。实证研究表明，部分压缩后模型在性别、地域及文化相关任务上的偏差率较原模型上升达12%–18%，这一数字正是上述多重机制叠加作用的客观映射。
### 2.3 不同压缩技术对LLM偏好的差异化影响
参数精简、知识蒸馏与量化虽同属压缩范式，却在偏好传导路径上各具“性格”：参数精简如外科手术，在删减低贡献权重的同时，可能意外保留甚至凸显某些高偏差敏感通路的拓扑结构；知识蒸馏则似一场单向授业，学生模型在模仿教师输出分布的过程中，将后者未加反思的价值权重一并内化，导致偏好从“存在”升格为“标准”；量化则更像一次不可逆的翻译——将浮点世界中尚存灰度的推理过程，强行映射至整数域的离散阶梯，其舍入误差在敏感任务上极易放大原有偏见的判别阈值。三者并非孤立运作，而常组合嵌套：例如量化感知蒸馏，既继承了蒸馏对教师偏好的全盘接纳，又叠加了量化对边界区域的畸变效应。因此，对LLM偏好的干预，不能再寄望于“统一校准”，而必须按技术路径拆解——为剪枝设偏差敏感性门限，为蒸馏增置反事实监督信号，为量化嵌入动态区间重标定机制。
## 三、总结
模型压缩绝非单纯的技术减法，而是在参数精简过程中潜藏LLM偏好固化与偏差引入风险的复杂过程。资料明确指出，压缩操作会扰动原始模型决策边界，导致推理偏移；实证研究表明，部分压缩后模型在性别、地域及文化相关任务上的偏差率较原模型上升达12%–18%。这一现象源于蒸馏、剪枝与量化等主流方法对教师模型输出的无差别拟合，使固有偏好被结构化保留甚至放大。因此，压缩流程亟需从“性能导向”转向“价值敏感”，将偏好审计与偏差校准作为刚性环节嵌入技术流水线——唯有如此，轻量化的LLM才能真正承载公平、稳健与可信赖的语言智能。
