必须。PyTorch自定义Autograd函数必须重写forward和backward两个静态方法，二者缺一不可，且签名固定：forward接收ctx和输入参数并返回输出张量，backward接收ctx和grad_output并按forward输入顺序返回对应梯度（无梯度则返回None），中间变量需通过ctx.save_for_backward显式保存。
PyTorch自定义Autograd函数必须重写forward和backward吗？
必须。PyTorch的torch.autograd.Function是静态绑定的，forward和backward两个方法缺一不可，且签名固定：forward接收*args并返回输出张量，backward接收grad_output并返回每个输入对应的梯度（顺序、数量、形状需严格匹配forward输入）。
常见错误是漏掉ctx参数或在backward里直接用input变量——这些变量在forward结束后就不可访问了，必须提前用ctx.save_for_backward()显式保存。
-
forward中所有参与梯度计算的中间变量，若backward需要，必须调用ctx.save_for_backward(x, y)；只读不参与求导的可存为ctx.some_attr = val -
backward返回值数量必须等于forward输入参数数量，对应位置返回该输入的梯度；不需要梯度的输入（如标量超参）应返回None - 如果
forward输入含非Tensor类型（如int、str），backward中对应位置必须返回None，不能省略
如何处理forward中带控制流（if/loop）的算子？
PyTorch Autograd不跟踪Python控制流本身，只跟踪Tensor上的操作。只要控制流逻辑不改变计算图结构（即相同输入总是触发相同Tensor运算路径），就可以正常反向传播；但如果控制流导致不同输入走不同计算分支（比如if x.sum() > 0），则必须确保backward能覆盖所有分支的梯度逻辑，且ctx中保存的中间状态要能支撑所有路径。
更稳妥的做法是：把条件判断结果也作为ctx属性保存下来，再在backward中复现分支逻辑。
立即学习“Python免费学习笔记（深入）”；
- 避免在
forward里对Tensor做.item()或bool()判断后再分支——这会中断梯度流；改用torch.where或torch.sigmoid等可导替代 - 若真需不可导判断（如稀疏索引选择），必须在
backward中用相同条件重新计算索引，并用torch.zeros_like+scatter或index_put构造梯度 - 循环次数依赖Tensor值时（如
while x > 0），无法自动微分，应改用torch.nn.functional.upsample类固定迭代数的替代方案，或用torch.scan（需手动实现）
为什么backward里不能直接调用input.grad？
因为input只是forward的局部变量，backward执行时它早已被释放；而且Autograd引擎不通过.grad字段传递梯度，而是把上游梯度以参数形式传入backward的grad_output，再由你手动计算各输入的梯度并返回。
典型错误是写成input.grad = grad_output * something——这既无效又危险，可能污染其他地方的梯度。
-
backward的唯一职责是：根据grad_output和ctx.saved_tensors，计算出每个forward输入对应的梯度Tensor，并按顺序返回 - 如果某个输入是标量（如
alpha: float），其梯度是标量对标量的导数，应返回torch.sum(grad_output * d_output_d_alpha)（注意求和降维） - 涉及in-place操作（如
x.add_(y)）时，backward必须保证梯度计算与前向的in-place语义一致，否则会报RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation
自定义Function在多GPU或torch.compile下会失效吗？
会。原生torch.autograd.Function默认不支持torch.compile（除非用@torch.compile额外装饰forward/backward），也不保证多GPU下的正确性——因为ctx是单实例对象，在DDP中可能跨进程共享失败。
真正安全的扩展方式是优先使用torch.library（PyTorch 2.0+）定义算子，或用C++/CUDA扩展；仅当调试或原型验证时才用autograd.Function。
- 若坚持用
autograd.Function，务必在forward开头加assert input.is_cuda == (torch.cuda.is_available())类检查，避免CPU/Tensor混合引发静默错误 - 涉及分布式训练时，所有
ctx保存的数据必须是Tensor，不能是Python list/dict；且backward中避免调用torch.distributed原语 -
torch.compile目前对自定义Function的支持仍有限，遇到UnsupportedAliasMutation或BackendCompilerFailed错误，最简解法是临时禁用compile：torch.compile(model, backend="inductor", fullgraph=True)中移除fullgraph=True或换用"eager"
最常被忽略的是：自定义Function的forward返回值必须是Tensor（或Tensor元组），不能是Python数值或NumPy数组——哪怕只差一个.item()，都会让整个计算图断裂。
