欢迎加入
「易源易彩交流群」
「易源易彩交流群」
QQ扫码进群
（QQ群号：860213912）
注册得好礼
新用户微信注册享20元算力, >立即注册
关注公众号得算力
新用户关注易彩微信公众号享20元算力，
邀请有礼
邀请1人得5元算力，可累计叠加, 查看规则
摘要
大型深度学习模型在推理和训练阶段高度依赖底层计算内核（Kernel），这些内核是运行在硬件加速器（如GPU、NPU、TPU）上的高效程序，专门执行矩阵乘法、卷积和归一化等关键操作。为了评估大模型在不同硬件平台上生成高性能内核的能力，南京大学和浙江大学联合提出了一种跨平台内核生成评测框架，命名为MultiKernelBench。该框架为深度学习模型与硬件加速的结合提供了新的测试和优化视角。
关键词
深度学习, 计算内核, 硬件加速, 模型推理, 评测框架
随着深度学习模型的规模不断膨胀，其对计算资源的需求也呈指数级增长。传统的通用处理器（如CPU）已难以满足大规模模型训练和推理的高效运行需求，因此，硬件加速器（如GPU、NPU、TPU）成为支撑深度学习发展的核心技术。这些加速器通过并行计算架构和专用指令集，显著提升了模型运算效率。例如，GPU凭借其强大的浮点运算能力和高内存带宽，在矩阵运算和卷积操作中展现出卓越性能；而TPU则针对张量计算进行了深度优化，使得推理过程更加高效。深度学习模型与硬件加速器之间的协同关系，不仅决定了模型的运行速度，也影响着整体系统的能耗与成本。因此，如何在不同硬件平台上高效部署模型，成为当前研究的重要课题。
在深度学习的计算流程中，计算内核（Kernel）扮演着至关重要的角色。这些内核是运行在硬件加速器上的高效程序，专门负责执行诸如矩阵乘法、卷积、归一化等关键操作。它们的性能直接影响模型的推理速度和训练效率。以矩阵乘法为例，作为深度学习中最基础的运算之一，其执行效率往往决定了整个模型的吞吐量。因此，针对不同硬件平台优化计算内核，成为提升深度学习系统性能的关键手段。此外，随着模型结构的日益复杂，计算内核的设计也需具备良好的可扩展性和适应性，以应对不同任务和硬件环境的需求。
大型深度学习模型对硬件加速器的性能提出了前所未有的挑战。随着模型参数规模的不断增长，计算密度和内存访问需求显著上升，这对硬件加速器的计算能力、内存带宽以及能效比提出了更高要求。例如，GPT-3等超大规模语言模型在训练过程中需要处理数万亿次浮点运算，这对GPU和TPU的并行计算能力构成了严峻考验。同时，模型推理阶段对延迟和能耗的敏感性也促使硬件加速器不断优化其架构设计。为了应对这一趋势，硬件厂商和研究机构正积极开发更高效的计算单元和内存系统，以提升整体计算效率。此外，如何在不同硬件平台上实现高效的模型部署和推理，也成为当前研究的热点问题。
矩阵乘法作为深度学习中最核心的运算之一，其执行效率直接影响模型的整体性能。为了提升矩阵乘法的计算效率，研究者们在多个层面进行了深入优化。首先，在算法层面，采用分块矩阵乘法（Blocked Matrix Multiplication）可以有效减少内存访问次数，提高缓存利用率。其次，在硬件层面，GPU和TPU等加速器通过SIMD（单指令多数据）架构实现并行计算，从而大幅提升矩阵乘法的速度。此外，自动调优工具（如TensorRT、TVM）能够根据硬件特性动态调整矩阵乘法的实现方式，以达到最优性能。南京大学与浙江大学联合提出的MultiKernelBench评测框架，正是通过系统评估不同硬件平台下矩阵乘法内核的性能，为模型优化提供科学依据。
卷积运算是深度学习中图像处理和特征提取的核心操作，其计算复杂度高，对硬件性能要求极高。为了提升卷积运算的效率，研究者们提出了多种优化策略。其中，Winograd算法通过减少乘法操作次数，显著降低了计算量；而FFT（快速傅里叶变换）方法则在大卷积核场景下展现出更高的效率。此外，基于硬件特性的优化策略也广泛应用于实际部署中，例如利用GPU的共享内存减少数据访问延迟，或通过内存预取技术提升数据吞吐率。近年来，自动代码生成工具（如Halide、TVM）能够根据目标硬件自动生成高效的卷积内核，从而实现跨平台的高性能计算。MultiKernelBench评测框架的提出，为衡量不同优化策略在各类硬件平台上的表现提供了统一标准，有助于推动卷积运算内核的持续优化与创新。
在深度学习模型日益庞大的背景下，如何高效地将模型部署到不同硬件平台上，成为学术界与工业界共同关注的焦点。南京大学与浙江大学联合提出的MultiKernelBench评测框架，正是基于这一现实需求而设计。该框架的核心理念在于“跨平台、可扩展、标准化”，旨在为大型深度学习模型提供一个统一的测试平台，评估其在不同硬件加速器（如GPU、NPU、TPU）上生成高性能计算内核的能力。MultiKernelBench不仅关注模型在特定硬件上的执行效率，更强调其在多种硬件架构下的适应性与泛化能力。通过这一框架，研究者可以系统性地分析模型在生成矩阵乘法、卷积等关键操作内核时的表现，从而为模型优化提供科学依据。这种设计理念不仅回应了当前硬件异构化趋势下的挑战，也为未来模型与硬件的协同创新提供了坚实基础。
MultiKernelBench在评估方法上采用了模块化与自动化相结合的策略，确保评测过程既高效又具有可重复性。该框架首先定义了一组标准的计算任务，如矩阵乘法、卷积运算和归一化操作，这些任务覆盖了深度学习中最常见的计算模式。随后，框架会引导模型在多个硬件平台上自动生成对应的计算内核，并通过统一的性能监控工具记录其执行时间、内存占用、能耗等关键指标。为了确保评估的公平性，MultiKernelBench还引入了自动调优机制，使得不同模型在不同硬件上的表现能够在一个统一的标准下进行比较。此外，该框架支持插件式扩展，允许研究者根据新的硬件架构或计算需求，灵活添加新的评测模块。这种评估方法不仅提升了评测的科学性和可操作性，也为模型开发者提供了清晰的优化方向。
在MultiKernelBench框架中，评估大模型性能的指标体系涵盖了多个维度，力求全面反映模型在不同硬件平台上的表现。首先是执行效率，即模型生成的内核在特定硬件上完成计算任务所需的时间，这是衡量性能最直接的指标；其次是资源利用率，包括GPU的计算单元利用率、内存带宽使用率等，这些指标反映了模型对硬件资源的调度能力；第三是能耗效率，即单位计算量所消耗的能量，这一指标在边缘计算和移动设备部署中尤为重要；最后是兼容性与可移植性，即模型是否能在不同架构的硬件上稳定运行并保持相近性能。南京大学与浙江大学的研究团队指出，只有在这些指标之间取得良好平衡，才能真正实现高效、可持续的深度学习部署。MultiKernelBench通过这些标准，为模型开发者提供了一个清晰的性能评估体系，也为硬件厂商提供了优化方向。
MultiKernelBench的评测结果显示，不同硬件平台在执行相同计算任务时展现出显著的性能差异。以矩阵乘法为例，在NVIDIA A100 GPU上，模型生成的内核平均执行时间为0.8毫秒，而在华为昇腾910 NPU上则为1.2毫秒，TPU v3上的表现则介于两者之间，约为1.0毫秒。这一差异主要源于各平台的架构设计：GPU凭借其强大的并行计算能力和高内存带宽，在密集型矩阵运算中表现优异；NPU则在低功耗场景下更具优势，适合边缘设备部署；而TPU则针对张量计算进行了深度优化，在大规模模型推理中展现出良好的稳定性。在卷积运算方面，GPU依然保持领先，但NPU通过其专用指令集在某些特定卷积核尺寸下实现了更高的能效比。这些数据不仅揭示了不同硬件平台的优势与局限，也为模型开发者提供了重要的部署决策依据。
在深度学习模型部署过程中，内核生成与硬件加速器之间的兼容性问题日益凸显。MultiKernelBench的评测结果表明，尽管某些模型在特定硬件上表现出色，但在跨平台迁移时往往面临性能下降甚至无法运行的问题。这种不兼容性主要源于两个方面：一是硬件架构的差异，例如GPU依赖CUDA生态，而NPU则依赖OpenCL或厂商自定义的编程接口；二是编译器优化能力的局限，不同平台对自动代码生成的支持程度不一，导致模型生成的内核难以在不同设备上保持一致性能。南京大学与浙江大学的研究团队指出，解决这一问题的关键在于构建统一的中间表示（IR）语言，并开发跨平台的自动优化工具链。只有当模型生成的内核能够“一次编写，多平台运行”时，深度学习的部署效率与灵活性才能真正实现质的飞跃。
MultiKernelBench评测框架的提出，为评估大型深度学习模型在不同硬件平台上生成高性能计算内核的能力提供了科学、系统的解决方案。评测结果显示，GPU在矩阵乘法和卷积运算中表现优异，NPU在能效比方面具有优势，而TPU则在大规模推理任务中展现出良好的稳定性。例如，在NVIDIA A100 GPU上，模型生成的矩阵乘法内核平均执行时间仅为0.8毫秒，显著优于华为昇腾910 NPU（1.2毫秒）和TPU v3（1.0毫秒）。这些数据不仅揭示了不同硬件平台的性能特点，也为模型优化与部署提供了重要参考。未来，随着硬件架构的持续演进与模型复杂度的不断提升，构建统一的中间表示语言和跨平台自动优化工具链将成为关键方向，以实现“一次编写，多平台运行”的高效部署目标。