企业官网建设流程全解析

Triton autotune 指南：把内核调参从几天压到一次调用

【免费下载链接】tritonDevelopment repository for the Triton language and compiler项目地址: https://gitcode.com/GitHub_Trending/tri/triton

写 GPU 内核时，块大小和线程数往往决定了快慢，而靠人肉试配置，每换一个输入尺寸就得重来一遍。Triton 的 autotune 自动调优让你只需声明一组候选配置，首次调用就会自动跑完整轮性能采样并锁定最优项，之后相同输入直接复用缓存。读完本文，你会在自己的内核上挂上 autotune，并说清它何时重新搜索、何时直接命中缓存。

先说结论：用了它能省掉什么

一句话：把"换一次输入尺寸就重新折腾一天"的活，变成一次调用的自动事。下面用手动调参与 autotune 对比：

结论行：你省下的是"试配置＋记结果"的重复劳动，付出的只是首次调用多等几秒到几十秒。

看完这张表，你可能会问它凭什么选得准，下一节讲原理。

图 1：矩阵乘法内核把输出矩阵切成块，多个线程块并行执行，每个块读 A、B 的对应块并写入 C 的一个块

配置之所以能改变性能，原因就藏在这张图里：块太小，每次访存摊到的计算少，访存效率低；块太大，单块占用显存和寄存器多，能同时跑住的块数就少了。Triton 的 autotune 做两件事：先用triton.Config把候选配置列成清单，定义参数搜索空间；再按key指定的输入参数触发性能采样，用内置do_bench跑 warmup 加重复执行取中位耗时，编译失败或资源超限的候选会被记为无穷耗时自动淘汰。最后把最快的一份按 key 存进内存和磁盘缓存，同尺寸输入直接命中，换了尺寸才重新搜索。打个比方，它像你在鞋店试穿：不看说明书的玄学参数，把几双都穿上走两步，比对之后记下最舒服的那双。

原理清楚了，接下来用 10 分钟把一个最小示例跑起来。

10分钟上手：Triton autotune 怎么用

四个步骤就能挂上自动调优：先用triton.Config枚举候选；再用@triton.autotune包住内核并指定key；首次调用触发搜索；之后同尺寸调用直接复用。下面这段代码在做的事，就是给内核挂上两档配置的自动调优（完整内核实现参考 python/tutorials/03-matrix-multiplication.py）：

configs = [ triton.Config({'BLOCK_SIZE_M': 64, 'BLOCK_SIZE_N': 64, 'BLOCK_SIZE_K': 32}, num_warps=4), triton.Config({'BLOCK_SIZE_M': 128, 'BLOCK_SIZE_N': 128, 'BLOCK_SIZE_K': 32}, num_warps=8), ] @triton.autotune(configs=configs, key=['M', 'N', 'K']) @triton.jit def my_kernel(a_ptr, b_ptr, c_ptr, M, N, K, BLOCK_SIZE_M: tl.constexpr, BLOCK_SIZE_N: tl.constexpr, BLOCK_SIZE_K: tl.constexpr): ...

运行后，第一次调用会先打印调优耗时和选中的配置（设置环境变量TRITON_PRINT_AUTOTUNING=1即可看到），之后同尺寸调用不再搜索，直接执行内核，你观察到的现象就是首调慢一拍、后续调用明显更快。

效果如何：数据与观察

真实数字要由你自己的硬件和输入形状给出，这里先说清规律与可验证的观察项。

图 2：分组调度让同一批线程块集中访问 A、B 的局部区域，减少冗余加载，这正是教程中 GROUP_SIZE_M 配置参数的作用

从定性角度看：首次调用一定比裸跑慢，慢多少约等于"候选数 × 单候选基准耗时"，可用knobs.autotuning.print打印的finished after X s量化；稳态下，官方 matmul 教程里挂 autotune 的版本在多种尺寸上快于任意单一手工配置，因为不同尺寸的最优块大小本来就不一样。把cache_results=True打开后，同一组输入连首次搜索都能省掉。

知道规律之后，有三个坑值得提前绕开。

新手最容易踩的3个坑

• 现象：换了输入尺寸性能不升反降。原因：key里漏了真正影响性能的那个参数（比如只写了['M']，N 变化不会触发重新调优），新尺寸沿用了旧配置。解法：把影响块数与形状的参数都放进key。
• 现象：运行直接抛 "Conflicting meta-parameters" 错误。原因：同一个 meta 参数既写在triton.Config里，又在调用时手动传了。解法：自动调优的参数只在 configs 里定义一处。
• 现象：调优跑完输出张量是错的。原因：每个候选配置都会完整执行一次内核，累加写出到同一张量就被写了很多遍。解法：用reset_to_zero或restore_value在采样前复位、采样后还原。

坑都绕开了，最后给你一条继续深入的路线。

下一步

• 读 python/triton/runtime/autotuner.py：prune_configs是剪枝入口，check_disk_cache是磁盘缓存入口，读懂这两个函数，你就掌握了 autotune 的全部决策点。
• 跟 python/tutorials/03-matrix-multiplication.py 对照：这是 Triton 自动调优 教程里最完整的一份参考，16 个候选配置加GROUP_SIZE_M的写法可以直接抄。
• 设置TRITON_PRINT_AUTOTUNING=1，在真实负载上观察每个 key 的调优耗时和选中配置，验证本节讲的缓存与重搜行为。
• 翻 python/triton/language/core.py：确认内核用到的语言原语，写配置时心里有底。

现在就可以动手：挑一个你现有的内核，挂上两到三个配置的 autotune，先跑通"首次搜索、二次命中缓存"，再逐步加配置，别一上来就枚举几十个候选。

【免费下载链接】tritonDevelopment repository for the Triton language and compiler项目地址: https://gitcode.com/GitHub_Trending/tri/triton