欢迎加入
「易源易彩交流群」
「易源易彩交流群」
QQ扫码进群
（QQ群号：860213912）
注册得好礼
新用户微信注册享20元算力, >立即注册
关注公众号得算力
新用户关注易彩微信公众号享20元算力，
邀请有礼
邀请1人得5元算力，可累计叠加, 查看规则
摘要
在ICML 2025会议上，一项由香港城市大学、南方科技大学和浙江大学联合提出的新训练策略CoTo引发了广泛关注。该策略旨在解决LoRA（低秩适配器）在训练过程中存在的稳定性问题、模型融合效果不佳以及剪枝后性能下降等挑战。CoTo通过在训练初期随机失活部分适配器，并逐步增加其激活概率，有效缓解了层级不均衡问题，从而显著提升了模型在多任务学习、模型融合和剪枝操作中的鲁棒性与有效性。该研究成果已被机器学习领域顶级会议ICML 2025正式接收，为LoRA训练提供了新的思路和优化方向。
关键词
CoTo训练策略，LoRA稳定性，模型融合，适配器激活，多任务学习
CoTo训练策略的核心在于其创新性的“逐步激活”机制。在LoRA训练过程中，研究团队发现，由于不同层级适配器之间的训练动态存在不均衡现象，模型在多任务学习、模型融合以及剪枝操作中常常表现出性能下降的问题。为了解决这一挑战，CoTo引入了一种随机失活与逐步激活相结合的训练方式。具体而言，在训练初期，CoTo会随机失活部分适配器，从而避免某些层级在早期训练阶段过度主导模型的学习过程。随着训练的推进，这些被失活的适配器将逐步恢复激活状态，激活概率从初始的低值逐步提升至100%。这种渐进式的激活机制有效缓解了层级间的不平衡问题，使整个模型的训练过程更加稳定。
此外，CoTo的这一策略不仅提升了模型的鲁棒性，还显著增强了其在多任务学习场景下的泛化能力。通过控制适配器的激活节奏，CoTo确保了模型在面对不同任务时能够更灵活地调整参数分布，从而实现更高效的模型融合与剪枝操作。这一机制为LoRA训练提供了一种全新的优化路径，也为后续研究提供了重要的理论支持和实践指导。
与传统LoRA训练方法相比，CoTo在多个关键维度上展现出显著差异。首先，在训练稳定性方面，传统LoRA往往在训练初期就激活所有适配器，导致模型容易陷入局部最优或出现训练震荡。而CoTo通过引入随机失活机制，有效缓解了这一问题，使训练过程更加平稳可控。
其次，在模型融合能力方面，传统LoRA在多任务学习中常常面临参数冲突与任务干扰的问题，导致模型性能受限。而CoTo通过逐步激活适配器的方式，使模型在不同任务之间实现更自然的参数共享与任务适配，从而显著提升了模型的融合效果。
最后，在剪枝操作方面，传统LoRA在剪枝后往往会出现性能大幅下降的情况，而CoTo由于在训练过程中已经对适配器进行了动态筛选与优化，因此在剪枝后仍能保持较高的模型性能。这种差异不仅体现在实验数据中，也在实际应用场景中得到了验证。CoTo的提出，标志着LoRA训练策略迈入了一个更加高效、稳定的新阶段。
在当前的参数高效微调方法中，LoRA（低秩适配器）因其结构简洁、训练高效而广受青睐。然而，尽管其在资源节省和模型扩展方面表现出色，LoRA在训练过程中仍面临显著的稳定性挑战。研究发现，LoRA模型在多任务学习和模型融合场景下，常常因不同层级适配器之间的训练动态不均衡而导致收敛困难。具体而言，某些层级的适配器可能在训练初期迅速主导参数更新，而其他层级则难以获得充分的学习机会，从而形成“层级竞争”现象。
此外，LoRA在剪枝操作后也常出现性能骤降的问题。由于适配器参数在训练过程中缺乏动态筛选机制，剪枝后模型难以维持原有的任务适应能力。实验数据显示，在未加优化的LoRA设置下，剪枝后模型的性能下降幅度可达15%以上，这在实际部署中是难以接受的。因此，如何提升LoRA训练的稳定性，成为当前研究亟待突破的关键瓶颈。
为应对LoRA训练中的稳定性难题，CoTo提出了一种创新性的“逐步激活”机制。该策略在训练初期随机失活部分适配器，从而避免某些层级在早期阶段过度主导模型学习。随着训练进程的推进，这些被失活的适配器逐步恢复激活状态，激活概率从初始的低值逐步提升至100%。这种渐进式的激活方式有效缓解了层级间的不平衡问题，使整个训练过程更加稳定可控。
实验结果表明，采用CoTo策略后，LoRA模型在多任务学习中的收敛速度提升了约20%，且在剪枝操作后仍能保持90%以上的原始性能。这一显著改善不仅验证了CoTo在提升训练稳定性方面的有效性，也为后续在参数高效微调领域的进一步优化提供了坚实基础。通过CoTo，研究者们成功将LoRA的应用边界拓展至更复杂的任务场景，为模型训练的鲁棒性与泛化能力带来了实质性提升。
在多任务学习和模型融合的复杂场景中，传统LoRA训练方法常常面临参数冲突与任务干扰的挑战，导致模型难以在多个任务之间实现有效的参数共享与适配。而CoTo策略的引入，为这一难题提供了切实可行的解决方案。通过在训练初期随机失活部分适配器，并逐步提升其激活概率，CoTo有效避免了某些层级在早期阶段过度主导模型学习的现象，从而实现了更均衡的参数分布与任务适配。
实验数据显示，在引入CoTo策略后，模型在多任务学习中的融合效果提升了约25%，任务间的参数冲突显著减少。这种改进不仅体现在模型的准确率和收敛速度上，更在实际应用中展现出更强的泛化能力与鲁棒性。研究团队指出，CoTo通过控制适配器的激活节奏，使模型在面对不同任务时能够更灵活地调整参数分布，从而实现更高效的模型融合。这一机制不仅优化了LoRA在多任务环境下的表现，也为参数高效微调方法在更广泛场景中的应用打开了新的思路。
模型剪枝作为优化模型部署与推理效率的重要手段，在LoRA的应用中却常常面临性能大幅下降的困境。传统LoRA在剪枝操作后，由于缺乏对适配器参数的动态筛选机制，导致模型难以维持原有的任务适应能力，性能下降幅度可达15%以上。而CoTo策略的提出，为剪枝后模型性能的保持与提升提供了新的解决路径。
CoTo通过在训练过程中引入随机失活机制，并逐步提升适配器的激活概率，使模型在训练阶段就对参数进行了动态筛选与优化。这种机制确保了在剪枝过程中，保留下来的适配器参数具有更高的任务相关性与稳定性。实验结果表明，采用CoTo策略后，剪枝后的模型仍能保持90%以上的原始性能，显著优于传统LoRA的表现。
这一成果不仅提升了LoRA在资源受限环境下的适用性，也为高效模型压缩与部署提供了新的研究方向。通过CoTo，研究者们成功将LoRA的训练优化与模型剪枝紧密结合，为构建更轻量、更高效的模型架构奠定了坚实基础。
在ICML 2025会议上，研究团队展示了CoTo训练策略在多任务学习中的实际应用案例，进一步验证了其在复杂任务环境下的优越性能。以自然语言处理（NLP）领域为例，研究者在一个包含文本分类、问答系统和机器翻译的多任务学习框架中引入CoTo策略。实验结果显示，采用CoTo后，模型在多个任务上的平均准确率提升了约25%，且任务间的参数冲突显著减少。
这一成果得益于CoTo在训练初期对部分适配器的随机失活机制。通过逐步提升适配器的激活概率，模型在不同任务之间实现了更自然的参数共享与任务适配。例如，在机器翻译任务中，CoTo帮助模型在保持源语言理解能力的同时，更高效地学习目标语言的表达方式；而在文本分类任务中，模型则展现出更强的泛化能力与鲁棒性。
此外，研究团队还指出，CoTo不仅提升了模型的融合效果，还显著增强了其在资源受限环境下的适用性。这种在多任务学习场景下的成功实践，为LoRA训练策略的进一步推广与优化提供了坚实的理论支持和实践基础。
CoTo策略的核心创新之一在于其对适配器激活概率的动态调整机制。在多任务学习过程中，不同任务对模型参数的需求存在显著差异，传统LoRA方法由于在训练初期即激活全部适配器，容易导致某些层级参数过度主导学习过程，从而引发层级不均衡问题。而CoTo通过在训练初期随机失活部分适配器，并逐步提升其激活概率，有效缓解了这一难题。
具体而言，CoTo采用了一种“从稀疏到密集”的训练方式。在训练初期，适配器的激活概率被设定为较低值（例如30%），随着训练轮次的增加，该概率逐步提升至100%。这种渐进式的激活机制不仅避免了模型在训练初期对某些参数的过度依赖，还增强了模型在面对不同任务时的适应能力。
实验数据显示，在引入CoTo策略后，模型在多任务学习中的收敛速度提升了约20%，且在剪枝操作后仍能保持90%以上的原始性能。这一机制为构建更高效、更稳定的多任务学习框架提供了新的优化路径，也为参数高效微调方法的进一步发展打开了新的思路。
在CoTo训练策略中，适配器激活机制是其核心创新之一，其原理基于对LoRA训练过程中层级不均衡问题的深入分析。传统的LoRA方法在训练初期即激活所有适配器，导致某些层级参数在早期阶段迅速主导模型学习，而其他层级则难以获得充分的学习机会，形成“层级竞争”现象。这种不均衡不仅影响模型的收敛稳定性，也限制了其在多任务学习、模型融合和剪枝操作中的表现。
CoTo通过引入一种“逐步激活”的机制，有效缓解了这一问题。具体而言，在训练初期，CoTo会随机失活部分适配器，从而避免模型对某些参数的过度依赖。随着训练的推进，这些被失活的适配器逐步恢复激活状态，激活概率从初始的低值逐步提升至100%。这种“从稀疏到密集”的训练方式，不仅提升了模型的训练稳定性，还增强了其在面对不同任务时的适应能力。
实验数据显示，采用CoTo策略后，模型在多任务学习中的收敛速度提升了约20%，任务间的参数冲突显著减少。这一机制为构建更高效、更稳定的模型训练框架提供了新的优化路径，也为参数高效微调方法的进一步发展打开了新的思路。
CoTo训练策略中的激活概率调整方法，是其区别于传统LoRA训练方式的关键创新之一。该方法通过动态调整适配器的激活概率，使模型在训练过程中逐步适应不同层级参数的重要性，从而实现更均衡的参数更新与任务适配。
具体而言，CoTo在训练初期将适配器的激活概率设定为较低值（例如30%），随着训练轮次的增加，逐步提升至100%。这种“从稀疏到密集”的激活方式，有效避免了模型在训练初期对某些参数的过度依赖，使不同层级的适配器能够在训练过程中获得更公平的学习机会。此外，这种渐进式的激活机制也增强了模型在面对多任务学习和剪枝操作时的鲁棒性与泛化能力。
实验结果表明，采用CoTo策略后，模型在剪枝操作后仍能保持90%以上的原始性能，显著优于传统LoRA的表现。这一成果不仅提升了LoRA在资源受限环境下的适用性，也为高效模型压缩与部署提供了新的研究方向。通过CoTo，研究者们成功将LoRA的训练优化与模型剪枝紧密结合，为构建更轻量、更高效的模型架构奠定了坚实基础。
CoTo训练策略的提出，为解决LoRA在多任务学习、模型融合和剪枝操作中的稳定性问题提供了创新性的解决方案。通过在训练初期随机失活部分适配器，并逐步提升其激活概率，CoTo有效缓解了层级不均衡问题，使模型训练更加稳定高效。实验数据显示，采用CoTo后，模型在多任务学习中的收敛速度提升了约20%，融合效果提升达25%，并在剪枝后仍能保持90%以上的原始性能。这些关键指标的优化，不仅验证了CoTo在提升模型鲁棒性与泛化能力方面的显著成效，也为参数高效微调方法的进一步发展奠定了坚实基础。随着CoTo在ICML 2025上的正式发表，其在机器学习领域的应用前景备受期待。