cuDNN卷积前向/反向需严格配对三类描述符：cudnnTensorDescriptor_t（输入/输出/dY，用cudnnSetTensor4dDescriptor设NCHW、dtype、尺寸）、cudnnFilterDescriptor_t（权重，cudnnSetFilter4dDescriptor设out/in-channel、kernel_h/w）、cudnnConvolutionDescriptor_t（卷积行为，cudnnSetConvolution2dDescriptor设pad/stride/dilation/mode），任一漏设或类型/布局不匹配均导致CUDNN_STATUS_BAD_PARAM。
直接调用 cuDNN 的 cudnnConvolutionForward 和 cudnnConvolutionBackwardData/cudnnConvolutionBackwardFilter 就能完成前向与反向传播加速，但必须严格配对创建描述符、正确设置算法与 workspace，否则大概率触发 CUDNN_STATUS_BAD_PARAM 或 CUDNN_STATUS_EXECUTION_FAILED。
cuDNN 卷积前向/反向三组核心描述符怎么配
cuDNN 不接受裸指针和维度数组，所有张量、滤波器、卷积行为都必须通过描述符（descriptor）封装。漏设、错设任意一项都会在执行时报错，且错误信息不提示具体哪项错了。
-
cudnnTensorDescriptor_t用于输入、输出、梯度输出（dY）张量：必须用cudnnSetTensor4dDescriptor显式指定 layout（CUDNN_TENSOR_NCHW或CUDNN_TENSOR_NHWC）、data type（CUDNN_DATA_FLOAT、CUDNN_DATA_HALF等）、batch、channel、height、width —— 注意顺序不能颠倒，NCHW下是batch, channel, height, width，不是height, width, channel, batch -
cudnnFilterDescriptor_t用于卷积核：用cudnnSetFilter4dDescriptor设置，维度顺序与 tensor 描述符一致，但含义是output_channel, input_channel, kernel_h, kernel_w -
cudnnConvolutionDescriptor_t描述卷积行为：用cudnnSetConvolution2dDescriptor设置 padding、stride、dilation 和 mode（CUDNN_CROSS_CORRELATION是默认，不是数学卷积）；特别注意：pad_h/pad_w是 total padding，不是 per-side，且必须满足(input_h + 2*pad_h - kernel_h) % stride_h == 0，否则cudnnGetConvolution2dForwardOutputDim返回负值，后续调用必崩
为什么 cudnnConvolutionBackwardData 总返回 CUDNN_STATUS_BAD_PARAM
这个错误最常出现在反向传播中，根本原因是输入张量描述符（dX）和滤波器描述符（filter）的 data type 或 layout 不匹配——哪怕只差一个字节（比如 float vs half），或者 NCHW/NHWC 混用，cuDNN 都会直接拒绝执行，而不是尝试转换。
- 确保 dX 描述符的
dataType与前向输入 X 的完全一致；filter 描述符的dataType与前向 filter 的完全一致 - 检查
cudnnConvolutionBackwardData的参数顺序：handle, alpha, wDesc, w, dyDesc, dy, convDesc, algo, workspace, workspaceSize, beta, dxDesc, dx—— 把w（权重）和dy（输出梯度）位置写反是高频失误 - 如果用了 TF32（Ampere+ GPU），需显式调用
cudnnSetConvolutionMathType(convDesc, CUDNN_TENSOR_OP_MATH)，否则反向可能静默失败
算法选择和 workspace 分配不能靠猜
cuDNN 提供多套卷积实现（Direct、FFT、Winograd、GEMM-based），不同输入尺寸、GPU 架构、精度下最优算法完全不同。硬编码 CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_PRECOMP_GEMM 在某些场景下比默认算法慢 3 倍以上。
立即学习“C++免费学习笔记（深入）”；
- 用
cudnnGetConvolutionForwardAlgorithm+cudnnFindConvolutionForwardAlgorithm替代启发式选型；后者会实际 benchmark 所有可行算法并返回最快的一个（耗时但值得） -
workspace大小必须按所选算法精确分配：调用cudnnGetConvolutionForwardWorkspaceSize获取所需字节数，malloc 后传入workspace参数；太小会 crash，太大浪费显存 - 反向传播的 workspace 不能复用前向的：必须分别调用
cudnnGetConvolutionBackwardDataWorkspaceSize和cudnnGetConvolutionBackwardFilterWorkspaceSize单独申请
常见错误状态码怎么快速定位
cuDNN 错误码抽象程度高，同一错误码背后原因可能差异极大。不要只看 CUDNN_STATUS_EXECUTION_FAILED 就重写逻辑，先查前置条件。
-
CUDNN_STATUS_NOT_INITIALIZED：cudnnCreate(&handle)调用后没检查返回值，或 handle 被提前cudnnDestroy了 -
CUDNN_STATUS_ALLOC_FAILED：不是显存不足，而是cudaMalloc失败 —— 很可能是传入了非法 size（比如负数维度、0-size tensor），或指针已释放仍被传入 -
CUDNN_STATUS_ARCH_MISMATCH：当前 GPU 不支持所选算法（如在 Turing 卡上硬选CUDNN_CONVOLUTION_BWD_FILTER_ALGO_1，该算法仅限 Ampere+） -
CUDNN_STATUS_INVALID_VALUE：padding/stride/dilation 组合导致输出尺寸非正，或 tensor 描述符中某维为 0
真正难的不是调通第一个卷积，而是让整套前向+反向+权重更新在不同 batch size、不同 kernel size、不同 GPU 上都稳定不崩 —— 这要求每个描述符的生命周期管理、每块 workspace 的分配释放、每次算法查询的 fallback 逻辑，全都得闭环验证。漏掉任意一环，上线后就只会在某个特定 shape 下突然挂掉。
