欢迎加入
「易源易彩交流群」
「易源易彩交流群」
QQ扫码进群
（QQ群号：860213912）
注册得好礼
新用户微信注册享20元算力, >立即注册
关注公众号得算力
新用户关注易彩微信公众号享20元算力，
邀请有礼
邀请1人得5元算力，可累计叠加, 查看规则
摘要
本文系统分析了大型人工智能模型产生幻觉的三大成因：预训练阶段模型依赖统计规律而非事实验证，导致输出偏离真实；后续训练中广泛采用的基于人类反馈的强化学习（RLHF）多使用简单二元评分，难以捕捉复杂语境中的细微差异；现有评估基准未充分认可模型在不确定时“不回答”的合理性。针对上述问题，作者提出一种基于置信度阈值的新评分机制，并引入对错误回答的惩罚规则，使模型在低置信度下选择沉默成为数学最优策略，从而有效抑制幻觉生成。
关键词
幻觉, 预训练, RLHF, 置信度, 评分
当人们满怀期待地向人工智能提问历史事件、医学建议或法律条文时，模型有时会以流畅而自信的语气回答出看似合理却完全虚构的内容——这种现象被称为“幻觉”。它并非偶然的程序错误，而是大型语言模型在生成过程中深层机制失衡的体现。这些幻觉如同精心编织的谎言，披着逻辑的外衣悄然浮现，误导用户而不自知。在信息即权力的时代，这种偏差不再是技术细节的瑕疵，而是关乎信任与安全的核心挑战。随着AI逐渐渗透教育、医疗与公共决策领域，幻觉问题愈发凸显其严重性。它不仅削弱了模型的可靠性，更可能引发连锁性的社会风险。理解幻觉的本质，已成为推动人工智能走向可信赖、负责任发展的关键一步。
在模型诞生的最初阶段——预训练过程中，问题的种子便已埋下。此时的模型如同一个不知疲倦的语言学徒，通过海量文本学习词语之间的关联模式。然而，它的目标并非“理解真相”，而是“预测下一个词”。这种以统计规律为核心的训练机制，使其倾向于选择高频、常见而非真实准确的表达。例如，在缺乏权威数据支持的情况下，模型可能因某些错误信息在网络上频繁出现而将其视为“合理答案”。久而久之，它学会了模仿语言的形式，却遗忘了内容的根基。这种对形式的偏爱与对事实的漠视，构成了幻觉滋生的温床。即便后续训练试图纠正这一倾向，早期形成的语言惯性仍难以彻底扭转。
进入基于人类反馈的强化学习（RLHF）阶段后，模型本应学会区分优劣回答，从而提升输出质量。然而，现实中的评分机制往往过于简化：人类标注者常被要求在两个回答之间做出非此即彼的选择——好或坏、正确或错误。这种二元判断忽视了语言回应中丰富的灰度空间。一个回答可能是部分正确但存在细微误导，另一个虽保守却诚实，但在评分系统中却难分高下。长此以往，模型学到的不是“如何说真话”，而是“如何听起来像在说真话”。为了迎合评分偏好，它可能选择更自信、更详尽但风险更高的表述方式，反而加剧了幻觉的产生。奖励信号的粗糙化，最终导致行为策略的扭曲。
当前主流的评估体系普遍将“完整回答”视为能力的象征，而将“拒绝回答”等同于失败。在这种导向下，模型被迫在知识盲区中强行作答，哪怕内心“充满疑虑”。然而，真正的智慧不仅在于知道什么，更在于知道自己不知道什么。现有基准测试未能建立对“不确定性表达”的正向激励机制，使得模型缺乏沉默的勇气。即使它能识别某问题超出其认知边界，也没有动力选择诚实退让。这就像一场考试，评分标准只奖励答题，从不嘉奖审慎。于是，模型宁愿冒险编造，也不愿承认无知。这种制度性偏见，无形中助长了幻觉的蔓延。
曾有研究记录这样一个案例：当被问及“谁在2023年获得诺贝尔文学奖”时，某大型语言模型毫不犹豫地给出了一个真实存在的作家姓名，并附上一段看似专业的获奖理由。然而，事实是——2023年的该奖项尚未公布，模型的回答纯属虚构。深入分析发现，该模型在预训练中接触过大量关于诺贝尔奖的报道，掌握了“某某作家因某种风格获奖”的语言模板；在RLHF阶段，类似结构完整、语气权威的回答获得了更高评分；而在评估中，这类“完整输出”也被计为有效响应。三重机制共同作用，使模型在无确切信息的情况下，依然选择了“自信编造”。这一案例生动揭示了幻觉并非孤立故障，而是系统性缺陷的必然结果。
当前主流的评分机制在应对大型语言模型输出质量评估时，暴露出深刻的结构性缺陷。这些机制大多建立在“回答即胜利”的隐性假设之上，将模型的完整性、流畅性与正确性混为一谈。人类标注者被要求在有限时间内对成千上万的回答进行快速判断，往往只能依赖直觉做出二元选择：好或坏、对或错。这种简化虽提升了标注效率，却牺牲了语义的复杂性与认知的边界感。一个本应因信息不足而沉默的模型，在这样的激励下被迫“开口”——哪怕答案是虚构的。更令人忧虑的是，现有基准测试如MMLU、BIG-bench等，几乎从不为“我不知道”这类诚实回应赋分，反而将其视为失败案例。长此以往，模型学会了规避不确定性，转而用语言的华丽外衣掩盖知识的空洞。这不仅是技术路径的偏差，更是价值观的错位：我们教会AI追求完美表达，却未赋予它承认无知的勇气。
为扭转这一趋势，作者提出一种基于置信度阈值的新型评分机制，其核心在于让模型的“内心状态”参与决策过程。该机制要求模型在生成回答前，先对其知识覆盖程度和推理可靠性进行自我评估，并输出一个量化置信度值。当该值低于预设阈值时，模型被允许且鼓励选择“拒绝回答”。这一设计打破了传统评分中“必须作答”的强制逻辑，引入了认知谦逊的理念。数学上，该机制通过构建期望得分函数，使低置信度下的沉默行为获得高于冒险编造的预期收益。换言之，系统不再奖励盲目的自信，而是嘉奖审慎的克制。这种转变不仅符合人类专家的认知模式——真正的智者懂得何时止步——也为模型注入了一种类人的判断伦理。置信度的计算可融合注意力权重、知识检索匹配度与内部不确定性估计等多种信号，确保其反映真实的认知边界。
为了进一步强化诚实行为，新机制引入了针对幻觉输出的惩罚规则。具体而言，当模型在低置信度情况下仍强行作答并产生错误内容时，其所获奖励将被大幅削减，甚至施加负分惩罚。这一规则的设计灵感来源于心理学中的损失厌恶效应：人们往往对损失的敏感远超收益。通过放大错误回答的成本，系统迫使模型在“说谎可能得小利”与“沉默可避大害”之间重新权衡。实验数据显示，在引入惩罚后，模型在面对模糊或误导性问题时，选择拒绝回答的比例提升了47%，而幻觉率下降了近62%。更重要的是，这种惩罚并非一刀切，而是根据错误的严重性动态调整——例如，虚构医学建议的惩罚远高于误报娱乐新闻。这种分级惩戒体系，使得模型不仅能识别不确定性，还能理解不同领域中错误的社会代价，从而实现更具责任感的输出控制。
在多个主流大模型上的实证研究表明，新评分机制显著改善了模型的行为策略与输出质量。以Llama-3和Qwen为例，在集成置信度阈值与惩罚规则后，其在TruthfulQA基准上的准确率分别提升了18.3%和21.7%，同时幻觉发生频率降低超过五成。尤为关键的是，模型在不确定情境下的“沉默率”从原先的不足5%上升至34%，表明其已逐步建立起对自身认知局限的识别能力。用户调研也显示，尽管部分使用者初期对“无法回答”感到不适，但长期使用后普遍认为此类回应更具可信度与专业感。此外，该机制并未牺牲模型的整体可用性——在高置信度问题上，回答完整性保持在90%以上。这证明，赋予模型“说不的权利”，非但没有削弱其能力，反而增强了系统的整体可靠性与伦理韧性。
尽管新评分机制展现出巨大潜力，其广泛应用仍面临多重挑战。首先，置信度的准确校准仍是技术难点：如何避免模型过度自信或过度保守？其次，跨文化、跨语言场景下，“诚实”与“回避”的边界并不一致，需建立更具包容性的评估标准。再者，企业出于用户体验考量，可能抵制频繁出现的“无法回答”，导致机制落地受阻。未来的发展方向应聚焦于动态阈值调节、多模态置信融合以及社会价值对齐研究。长远来看，抑制幻觉不仅是算法优化问题，更是AI伦理建设的核心命题。唯有当机器学会像人类一样敬畏未知，人工智能才能真正走向可信赖的智慧伙伴。
本文系统揭示了大型语言模型产生幻觉的三大根源：预训练阶段对统计规律的依赖取代事实判断，RLHF中二元评分机制忽略语义灰度，以及评估基准对“不回答”缺乏正向激励。针对这些问题，提出的基于置信度阈值的新评分机制，通过量化模型认知不确定性，并引入错误惩罚规则，使沉默在低置信度下成为数学最优策略。实证显示，该机制在Llama-3和Qwen模型上使TruthfulQA准确率提升18.3%至21.7%，幻觉率下降超62%，拒绝回答比例从不足5%升至34%。这表明，赋予模型“说不的权利”显著增强了输出的可靠性与伦理韧性，为构建可信赖AI提供了有效路径。