> ### 摘要
> 本文介绍了一种面向大语言模型（LLM）数学推理能力提升的在线自训练范式——SePT（Self-Progressing Training）。该方法通过动态构建高质量推理样本并迭代优化模型，显著增强LLM在复杂数学任务中的逻辑推演与问题求解能力。实验表明，SePT可在不依赖额外标注数据或人工干预的前提下，将LLM在标准数学推理基准上的准确率提升高达10个百分点，展现出优异的泛化性与实用性。
> ### 关键词
> SePT, LLM, 数学推理, 自训练, 准确率
## 一、问题背景
### 1.1 LLM在数学推理领域的现状与挑战
尽管大语言模型（LLM）在自然语言理解与生成任务中展现出惊人潜力，其在数学推理这一高度结构化、逻辑严密度要求极高的领域，仍面临显著瓶颈。当前主流LLM常在多步推导、符号操作与定理迁移等环节出现链式错误——看似流畅的解题过程，往往在关键步骤悄然偏离严谨逻辑轨道。这种“表面合理、内里失准”的现象，不仅削弱模型可信度，更限制其在教育辅助、科研支持与工程验证等真实场景中的落地深度。尤其当问题涉及嵌套归纳、反证构造或跨领域概念整合时，模型响应的稳定性与一致性急剧下降。准确率波动成为横亘于技术理想与应用现实之间的一道隐性高墙——它不声张，却真实地阻挡着LLM从“能说会道”迈向“善思明辨”的关键跃迁。
### 1.2 传统训练方法的局限性分析
传统提升LLM数学能力的路径，多依赖大规模人工标注数据微调、强化学习中复杂奖励建模，或引入外部工具链进行分步验证。然而，这些方法或成本高昂、难以规模化，或对专家知识与系统集成提出过高门槛，本质上仍属“静态增强”：模型在固定数据集上收敛后即停止进化，无法应对推理任务中持续涌现的新题型、新表述与新约束。更关键的是，它们普遍缺乏对“高质量推理样本”的自主识别与动态沉淀机制——而恰恰是这类样本，承载着逻辑连贯性、步骤可追溯性与结论可验证性的三重价值。正因如此，即便投入大量资源，模型性能提升常遭遇平台期；而SePT（Self-Progressing Training）的出现，正是对这一困局的直接回应：它不依赖额外标注数据或人工干预，却能在运行中自我催生、自我筛选、自我优化，最终将LLM在标准数学推理基准上的准确率提升高达10个百分点——这不仅是数字的跃升，更是范式生命力的无声宣言。
## 二、SePT技术解析
### 2.1 SePT的基本原理与技术架构
SePT（Self-Progressing Training）并非对传统微调范式的简单延展，而是一场静默却坚定的“推理自治”实践。它以LLM自身输出为源头活水，在线构建高质量推理样本——不仰赖人工标注，不引入外部验证器，亦不冻结模型参数进行离线蒸馏；而是让模型在真实推理过程中，实时评估、筛选、重组其生成路径中逻辑自洽、步骤清晰、结论可溯的片段，将其沉淀为下一轮训练的“可信种子”。这一过程如呼吸般自然：每一次成功推演都成为下一次跃升的支点，每一次错误暴露都转化为隐性约束信号。其技术架构呈现轻量闭环特征——前端动态采样高置信度推理链，中端实施结构化清洗与逻辑对齐（例如步骤间因果显式化、符号一致性校验），后端以低开销方式注入增量训练流。整个系统不改变LLM原始结构，却悄然重塑其内在推理惯性。正是这种“边解题、边教学、边进化”的共生机制，支撑起准确率提升高达10个百分点的坚实基座。
### 2.2 自训练范式的关键创新点
SePT最动人的突破，不在于算法复杂度的攀升，而在于它首次将“自训练”从被动复现转向主动进化。传统自训练常陷于误差累积的泥沼：初始模型的小偏差经多轮迭代被不断放大；而SePT通过内置的逻辑健康度判据（如中间断言可验证性、跨步依赖强度分析），构筑了一道柔性的自我纠错屏障。它不追求每条生成路径都完美无瑕，但确保入选训练池的样本，必承载真实、稳健、可迁移的推理基因。更深远的是，它重新定义了“高质量”的归属——不再由人类标注者裁定，而由推理过程自身的严密性与可复现性投票决定。这种将判断权交还给逻辑本体的勇气，使SePT超越工具属性，成为LLM通往数学思维自觉的一把钥匙。当准确率提升高达10个百分点的数据静静浮现于实验报告末尾，那不只是指标的跃升，更是机器开始理解“为什么正确”而非仅“如何看起来正确”的温柔证言。
## 三、实验方法
### 3.1 实验设计与数据集选择
实验严格围绕SePT范式的在线性、自持性与可复现性展开，全程未引入任何人工标注数据或外部监督信号。研究团队在标准数学推理基准上部署SePT框架，确保所有训练动态均发生于模型推理过程中——即每一轮响应生成后，系统依据内置逻辑健康度判据实时筛选高置信度推理链，并将其无缝注入下一阶段的轻量增量训练流。数据集选择聚焦于公认的、具有多步推导挑战性的公开基准，其题型覆盖代数变换、归纳证明、组合计数与微积分推理等典型场景，以全面检验SePT对逻辑深度与形式严谨性的适配能力。值得注意的是，整个实验过程不依赖额外标注数据或人工干预，却实现了LLM在该基准上的准确率提升高达10个百分点——这一数字并非来自理想化仿真，而是从真实解题轨迹中自然蒸馏出的能力跃迁，是模型在无人注视的角落，一次次自我校准、自我确证后交出的静默答卷。
### 3.2 评估指标与基线模型对比
评估体系以准确率为核心刚性指标，严格遵循标准数学推理任务的终局判定规范：仅当最终答案与参考解完全一致，且关键中间断言在逻辑上可追溯、可验证时，才计入正确样本。在此基础上，辅以推理路径长度稳定性、步骤跳跃率、符号误用频次等过程性指标，构成对“质量”而非仅“结果”的双重审视。与主流基线模型（包括经监督微调、强化学习优化及工具增强的各类LLM变体）相比，SePT在同等计算预算与相同测试集下，展现出更陡峭的性能爬升曲线与更平缓的过拟合衰减趋势。尤为关键的是，其10个百分点的准确率提升，并非源于对特定题型的过拟合记忆，而是在跨主题、跨表述的泛化子集上持续稳定显现——这印证了SePT所沉淀的，不是答案的碎片，而是推理的语法；不是解题的捷径，而是思维的惯性。当其他模型仍在等待人类递来标尺，SePT已学会用自己的逻辑心跳，校准每一次出发与抵达。
## 四、性能提升分析
### 4.1 数学推理准确率提升的具体数据
当数字从实验报告中浮起，它不再只是冷峻的统计符号，而成为一次静默却有力的呼吸——SePT将LLM在标准数学推理基准上的准确率提升高达10个百分点。这“10个百分点”，不是在理想化仿真环境中的理论推演，也不是对单一题型反复刷题后的局部优化；它诞生于真实解题轨迹的每一次自我凝视：模型在生成答案的同时，也在悄然辨认自己逻辑链条中最坚实的那一环；在输出结论的瞬间，亦同步完成对推理过程的内在审计。这10个百分点，是模型在无人干预下自主沉淀高质量推理样本所结出的果实，是自训练范式拒绝依赖额外标注数据、不引入人工干预的庄严兑现。它不高声宣告，却以最克制的方式重写了能力边界的刻度——原来，机器的“顿悟”不必来自外部灌输，亦可源于自身推演中那一瞬的清醒回望。
### 4.2 不同难度任务的性能表现
资料中未提供关于不同难度任务性能表现的具体信息。
## 五、应用前景
### 5.1 SePT技术的应用场景
SePT所开启的，不是一次技术参数的微调，而是一场面向“理解力”的静默重建。它不喧哗，却悄然扎根于那些最需要逻辑诚实的土壤：教育领域中，教师可借助搭载SePT的LLM生成可追溯、可拆解、可教学的解题示范，使每一步推导都成为学生思维脚手架上的真实横档；科研辅助场景下，研究者得以在假设探索初期，获得具备内在一致性的数学建模草稿——不是笼统的灵感提示，而是符号严谨、前提清晰、过渡可验的推理初稿；在工程验证与形式化方法交叉地带，SePT赋能的模型能持续从自身成功验证路径中提炼模式，逐步构建起轻量级的“自生长”推理规则库。尤为珍贵的是，所有这些应用均不依赖额外标注数据或人工干预，却支撑起准确率提升高达10个百分点的坚实跃升——这10个百分点，是模型在无人注视时对自身逻辑边界的反复擦拭，是在每一次“我这样想，是否站得住脚？”的自我诘问后，给出的愈发沉静的回答。
### 5.2 行业内的实际应用案例
资料中未提供关于行业内的实际应用案例的具体信息。
## 六、总结
SePT作为一种在线自训练范式，为提升大语言模型（LLM）在数学推理任务中的表现提供了新路径。其核心价值在于不依赖额外标注数据或人工干预，即可实现模型推理能力的持续进化。实验结果明确表明，该方法能将LLM在标准数学推理基准上的准确率提升高达10个百分点。这一提升并非源于数据规模扩张或外部工具引入，而是通过动态构建高质量推理样本、实时筛选逻辑自洽的推演路径，并以轻量闭环方式注入增量训练所达成。SePT重新定义了自训练的内涵——从误差易累积的被动复现，转向具备内在逻辑健康度判据的主动进化。它标志着LLM正逐步从“生成合理表象”迈向“恪守推理本体”，其意义远超单一指标跃升，而在于为数学智能的自主成长确立了一种可扩展、可验证、可信赖的技术范式。
