Relax训练GPU利用率低等问题源于调度不合理、算子融合缺失或内存访问低效；需用Nsight Systems采集全栈轨迹，配置CUDA_LAUNCH_BLOCKING=0、nsys profile命令及relax.build(debug=True)，再通过GPU Kernel Timeline识别冗余短时内核。
如果您在执行Relax训练任务时发现GPU利用率偏低、内核执行时间异常或内存带宽未达预期，则可能是由于计算图调度不合理、算子融合缺失或内存访问模式低效所致。以下是基于Nsight Systems开展性能分析并定位瓶颈的实操步骤：
一、配置Nsight Systems采集Relax训练轨迹
Nsight Systems可捕获CPU调度、GPU内核启动、显存拷贝及CUDA上下文切换等全栈事件，为Relax编译后执行的动态行为提供时间轴视图。需确保Relax模型以CUDA后端运行，并禁用异步执行干扰采样精度。
1、在Python脚本中设置环境变量：os.environ["CUDA_LAUNCH_BLOCKING"] = "0"，避免同步模式掩盖真实并发行为。
2、使用nsys命令包裹Python执行：：nsys profile -t cuda,nvtx,osrt --capture-range=cudaProfilerApi -o relax_profile python train_relax.py。
3、确认Relax编译时启用调试信息：mod = relax.build(mod, target="cuda", debug=True)，使NVTX标记可被Nsight识别。
二、识别Relax调度引入的冗余内核启动
Relax通过TIR调度生成多个细粒度CUDA kernel，若未合并或复用，将导致频繁launch开销与warp利用率下降。Nsight Systems的GPU Kernel Timeline可直观暴露短时、高频、低occupancy的kernel簇。
1、在Nsight Systems GUI中展开“GPU 0”轨道，按持续时间排序kernel，筛选出
2、右键对应kernel，选择“Add to Analysis Report”，查看其关联的NVTX范围名称，比对是否来自同一Relax binding语句的多次tir.call_extern调用。
3、定位到Relax IRModule中对应函数，检查schedule中是否存在未合并的compute_at或split未绑定到相同block级循环。
三、分析显存访问模式与L2缓存命中率
Relax张量运算若未对齐访存或跨步过大，将触发大量global memory transaction，降低有效带宽。Nsight Systems的Memory Workload Analysis可显示L2 Hit Rate与DRAM Utilization比率偏差。
1、在Analysis页面选择“Memory Workload”，勾选“L2 Cache Hit Rate”与“DRAM Utilization (GB/s)”双指标叠加视图。
2、定位L2 Hit Rate低于65%且DRAM Utilization高于80%的时段，拖动时间轴至该区间，右键“Zoom to Selection”聚焦。
3、切换至“GPU Trace”轨道，观察该时段内kernel的shared memory使用量（Shared Memory / Block）是否显著低于硬件上限，判断是否遗漏shared memory缓存优化机会。
四、注入NVTX标记定位Relax子图执行边界
默认Relax运行时不输出结构化NVTX范围，需手动插入标记以区分前端IR变换、TIR lowering、kernel launch等阶段，便于在Nsight中分层归因耗时。
1、在Relax构建流程中插入NVTX范围：from tvm.contrib import nvtx; nvtx.range_push("relax_lower_to_tir")，置于tvm.relax.build()调用前。
2、对每个关键compute函数添加嵌套标记：with nvtx.annotate("matmul_fused"): out = bb.emit(relax.op.nn.matmul(...))。
3、重运行nsys profile命令，加载结果后在“NVTX Range”轨道中展开层级，验证各子图耗时占比是否符合预期计算复杂度分布。
五、校验Tensor Core利用率与指令级吞吐
Relax生成的GEMM类kernel若未启用WMMA或FP16/INT8精度路径，将无法触发Tensor Core加速。Nsight Systems的Instruction Metrics面板可显示SM Active Cycles中Tensor Core指令占比。
1、在GPU Kernel详情页点击“Instruction Metrics”，展开“Tensor Core Instructions”子项。
2、检查“Tensor Core Utilization (%)”列数值，若长期低于15%，需核查Relax中op是否使用tir.match_buffer指定fp16数据类型及wmma.m16n16k16布局。
3、反查TIR PrimFunc中store语句的buffer数据类型声明：A = tir.match_buffer(a, (m, k), dtype="float16")，确认dtype与target支持的tensor core输入格式一致。
