在深度學(xué)習(xí)模型的推理與訓(xùn)練過程中，絕大部分計(jì)算都依賴于底層計(jì)算內(nèi)核（Kernel）來執(zhí)行。計(jì)算內(nèi)核是運(yùn)行在硬件加速器（如 GPU、NPU、TPU）上的 “小型高性能程序”，它負(fù)責(zé)完成矩陣乘法、卷積、歸一化等深度學(xué)習(xí)的核心算子運(yùn)算。

當(dāng)前，這些內(nèi)核通常由開發(fā)者使用 CUDA、AscendC、Pallas 等硬件專用并行編程語言手工編寫 —— 這要求開發(fā)者具備精湛的性能調(diào)優(yōu)技巧，并對(duì)底層硬件架構(gòu)有深入理解。

近年來，大語言模型（LLM）在代碼生成領(lǐng)域的突破，使“自動(dòng)生成高性能深度學(xué)習(xí)內(nèi)核”成為新的研究熱點(diǎn)。KernelBench、TritonBench 等評(píng)測(cè)基準(zhǔn)相繼出現(xiàn)，主要聚焦于評(píng)估 LLM 在 NVIDIA GPU 內(nèi)核生成上的表現(xiàn)。

已有研究表明，現(xiàn)有 LLM 已具備一定的 GPU 內(nèi)核生成能力。例如，英偉達(dá)工程師基于 DeepSeek-R1 設(shè)計(jì)了一套工作流程，在簡(jiǎn)單的 CUDA 內(nèi)核生成任務(wù)中，該流程生成的內(nèi)核在數(shù)值上全部正確，達(dá)到了 100% 的通過率。

然而，當(dāng)前 AI 加速器架構(gòu)日趨多樣（如 NVIDIA GPU、華為昇騰 NPU、Google TPU、Intel GPU 等），其底層內(nèi)核語言差異顯著?，F(xiàn)有評(píng)測(cè)基準(zhǔn)普遍存在平臺(tái)覆蓋單一、評(píng)估維度粗糙、可擴(kuò)展性不足等局限。在此背景下，關(guān)鍵問題浮現(xiàn)：大模型在 CUDA 生態(tài)下的優(yōu)勢(shì)能否有效遷移至異構(gòu)平臺(tái)？我們距離自動(dòng)化生成高性能計(jì)算內(nèi)核究竟還有多遠(yuǎn)？

針對(duì)這些問題，近日，南京大學(xué)與浙江大學(xué)聯(lián)合推出全新開源評(píng)測(cè)框架 MultiKernelBench，打破平臺(tái)、維度與擴(kuò)展性的限制，為 LLM 驅(qū)動(dòng)的高性能內(nèi)核生成提供了新的測(cè)評(píng)標(biāo)準(zhǔn)。

• 論文鏈接：https://arxiv.org/pdf/2507.17773
• 代碼鏈接：https://github.com/wzzll123/MultiKernelBench

MultiKernelBench 提出了一個(gè)開放評(píng)測(cè)場(chǎng)景：在 GPU、NPU、TPU 等多平臺(tái)上，LLM 自動(dòng)生成高性能深度學(xué)習(xí)內(nèi)核，并在真實(shí)設(shè)備中完成編譯、運(yùn)行與性能驗(yàn)證。它首次跨越單一硬件生態(tài)，推動(dòng) LLM 從 “單平臺(tái)選手” 邁向 “全能型選手”。

值得注意的是，MultiKernelBench 的設(shè)計(jì)充分考慮了算子多后端的可擴(kuò)展性。例如，Intel 工程師基于該框架高效地實(shí)現(xiàn)了 Intel GPU 的適配。

MultiKernelBench 是如何構(gòu)建的？

為了確保任務(wù)覆蓋全面且具有可擴(kuò)展性，研究團(tuán)隊(duì)設(shè)計(jì)了一套模塊化評(píng)測(cè)體系，包含四大核心特性：

1、 跨硬件平臺(tái)支持

首批覆蓋三大主流架構(gòu)：

• NVIDIA GPU（CUDA / Triton）
• 華為昇騰 NPU（AscendC）
• Google TPU（Pallas）
• 
  

通過統(tǒng)一 Backend 接口與裝飾器機(jī)制，實(shí)現(xiàn)無需修改核心邏輯即可快速接入新平臺(tái)。

論文作者后續(xù)計(jì)劃逐步擴(kuò)展對(duì)不同 GPU 和 NPU 廠商架構(gòu)的支持，同時(shí)也誠邀各廠商參與開源生態(tài)的共建。

2、 細(xì)粒度任務(wù)體系

在 Stanford KernelBench 基礎(chǔ)上重構(gòu)分類框架，覆蓋 14 類核心深度學(xué)習(xí)算子（卷積、歸一化、優(yōu)化器、稀疏計(jì)算等），不僅繼承了 250 個(gè)經(jīng)典任務(wù)，還新增 35 個(gè)未被現(xiàn)有基準(zhǔn)覆蓋的關(guān)鍵算子，全面反映 LLM 在不同算子類型上的生成能力。

3、 端到端自動(dòng)化評(píng)測(cè)

構(gòu)建標(biāo)準(zhǔn)化流程：內(nèi)核生成 → 編譯 → 硬件執(zhí)行 → 性能分析，確保在真實(shí)硬件環(huán)境中完成全流程驗(yàn)證。

4、 類別感知 One-shot 提示策略

針對(duì)不同算子類別動(dòng)態(tài)選取典型樣例作為上下文提示，顯著提升生成代碼的語義相關(guān)性與功能正確性，尤其在 AscendC、Pallas 等訓(xùn)練語料稀缺的平臺(tái)上效果顯著。

此外，MultiKernelBench 提供插件式提示模板系統(tǒng)，方便研究者探索多樣化的提示工程策略。

對(duì)比現(xiàn)有基準(zhǔn)，MultiKernelBench 帶來三大突破：

• 平臺(tái)覆蓋更廣：打破對(duì)單一生態(tài)的依賴，真正實(shí)現(xiàn)跨 GPU / NPU / TPU 的統(tǒng)一評(píng)測(cè)。
• 評(píng)估維度更細(xì)：任務(wù)分類粒度精細(xì)化，可定位 LLM 在不同算子類型上的優(yōu)勢(shì)與短板。
• 擴(kuò)展性更強(qiáng)：模塊化架構(gòu)與統(tǒng)一接口設(shè)計(jì)，使其能夠伴隨 AI 硬件生態(tài)快速演進(jìn)。

多模型實(shí)測(cè)，模型表現(xiàn)如何？

基于 MultiKernelBench，評(píng)估了包括GPT-4o、Claude、DeepSeek-V3、Qwen 等在內(nèi)的 7 個(gè)主流大模型，參數(shù)規(guī)模涵蓋 32B ~ 681B。

評(píng)估指標(biāo)包括：

• Compilation@k：生成代碼是否能成功編譯
• Pass@k：是否輸出功能正確的結(jié)果
• SpeedUp@k：運(yùn)行時(shí)是否實(shí)現(xiàn)性能優(yōu)化

實(shí)測(cè)結(jié)果顯示：

• Claude-4-Sonnet 在整體評(píng)測(cè)中表現(xiàn)最佳；推理模型表現(xiàn)優(yōu)異。
• CUDA 平臺(tái)的 Kernel 執(zhí)行通過率顯著高于 Pallas 與 AscendC，反映出當(dāng)前 LLM 對(duì) CUDA 更具適應(yīng)性。
• 類別感知式 Prompting 明顯優(yōu)于通用模板，尤其在 AscendC 等訓(xùn)練語料較少的平臺(tái)上，能顯著提升生成效果與成功率。

展望與未來計(jì)劃

MultiKernelBench 的評(píng)測(cè)結(jié)果表明，即便是當(dāng)前最先進(jìn)的大語言模型（LLM），在多平臺(tái)高性能內(nèi)核生成任務(wù)中仍存在明顯短板：在非 CUDA 平臺(tái)上的成功率顯著下降，生成代碼的性能也普遍落后于手工優(yōu)化版本。

未來，論文作者希望與社區(qū)共同推進(jìn) MultiKernelBench 的演進(jìn)，重點(diǎn)探索以下方向：

• 更智能的提示策略：利用已有的插件式提示模板系統(tǒng)，開發(fā)反饋式、文檔增強(qiáng)等新型提示方法，提升低資源平臺(tái)的生成質(zhì)量。
• 跨平臺(tái)協(xié)同生成：實(shí)現(xiàn)多平臺(tái)版本的同步生成與優(yōu)化思路共享，增強(qiáng)跨架構(gòu)泛化能力。
• 支持更多硬件后端：與社區(qū)合作接入更多新平臺(tái)，進(jìn)一步覆蓋異構(gòu)計(jì)算全景。

目前，MultiKernelBench 的全量數(shù)據(jù)集、框架代碼與評(píng)測(cè)流程已全部開源，歡迎研究者與工程師提出新方法、貢獻(xiàn)平臺(tái)支持，共同推動(dòng)多平臺(tái)高性能內(nèi)核自動(dòng)生成的發(fā)展。