MPI与CUDA结合做跨服务器分布式训练需手动管理进程通信和GPU计算流，必须用MPI_Comm_rank()确定rank并绑定GPU（local_rank = rank % GPU数），在调用任何CUDA函数前执行cudaSetDevice(local_rank)；梯度同步应优先用NCCL而非原始MPI点对点通信，避免流乱序；内存须严格区分cudaMalloc与new分配，Unified Memory需cudaMemAdvise设置访问模式；编译须匹配真实GPU架构（如A100用-sm_80），且每个rank启动后立即调用cudaFree(0)初始化上下文。
MPI 和 CUDA 结合做跨服务器的分布式深度学习训练，不是“加个库就能跑”，而是必须明确：**你是在绕开 PyTorch/TensorFlow 的 DDP/TPU 抽象层，直接控制进程通信 + GPU 计算流**。这意味着你要自己管梯度同步、模型一致性、流依赖、错误传播——稍有不慎就会卡死、结果错乱或显存泄漏。
下面直说关键实操点，不铺垫。
怎么初始化 MPI 进程并绑定到 GPU？
每个 mpirun 启动的进程对应一个 GPU（推荐 1:1），不能靠 cudaSetDevice() 随意切换——否则 NCCL 或自定义 Allreduce 会找不到上下文。
- 用
MPI_Comm_rank()获取rank，再用它模上本机 GPU 数（比如 4 卡服务器，local_rank = rank % 4）来选卡 - 必须在调用任何
cuda*函数前执行cudaSetDevice(local_rank) - 别信“自动绑定”，
export CUDA_VISIBLE_DEVICES=0,1,2,3只影响可见性，不解决多进程间 device context 冲突
梯度同步为什么不能只用 MPI_Send/MPI_Recv？
因为原始 MPI 点对点通信无法满足深度学习中梯度归约（Allreduce）的带宽和延迟要求。你在 8 节点 × 8 GPU 场景下用 MPI_Allreduce 是可行的，但性能远低于 NCCL；而纯 MPI_Send+MPI_Recv 手写 Ring-Allreduce 容易漏掉流同步，导致 cudaMemcpyAsync 和 kernel 执行乱序。
- 如果你坚持用 MPI 实现 Allreduce，必须为每个 GPU 创建独立
cudaStream_t，所有cudaMemcpyAsync和ncclAllReduce（或自定义 kernel）都指定该 stream -
cudaStreamSynchronize()不能放在循环里频繁调用，否则吞掉全部 GPU 利用率；应改用cudaEventRecord()+cudaStreamWaitEvent()做细粒度等待 - 更现实的做法：用
NCCL做集合通信，MPI只负责初始化、参数广播（MPI_Bcast）和 checkpoint 汇总——分工明确
模型参数更新时最容易崩在哪？
不是算错，是**内存生命周期错配**。典型表现：第 3 个 epoch 开始报 cudaErrorIllegalAddress 或静默结果异常。
- GPU 显存（
d_weights）和主机内存（h_gradients）不能共用同一块new float[N]——前者要cudaMalloc，后者用new或posix_memalign对齐 - 如果用了 Unified Memory（
cudaMallocManaged），必须调cudaMemAdvise(..., cudaMemAdviseSetReadMostly)告诉驱动哪个 rank 主读，否则跨节点访问触发隐式迁移，性能暴跌 -
cudaFree和delete[]必须和分配严格成对；MPI 进程退出前没 free 显存，下次mpirun启动可能因显存残留失败（尤其在 Slurm 下）
编译时 -arch=sm_XX 错了会怎样？
不是报错，是**静默降级或非法指令崩溃**。例如在 A100（sm_80）上用 -arch=sm_75 编译，kernel 能跑但不启用 Tensor Core；若误用 -arch=sm_90（H100）在 A100 上运行，则启动时 cudaGetLastError() 返回 cudaErrorInvalidPtx，但很多代码忽略这个检查。
立即学习“C++免费学习笔记（深入）”；
- 查真实架构用
nvidia-smi --query-gpu=name,compute_cap --format=csv - 编译命令中必须同时指定 host 和 device 代码目标：
nvcc -Xcompiler "-fopenmp" -arch=sm_80 --gpu-architecture=sm_80 - 混合架构集群（A100 + H100）必须分两套二进制，不能靠 runtime dispatch——CUDA 不支持跨 SM 版本的 PTX JIT
cudaFree(0) 触发上下文初始化，否则第一个 kernel launch 会卡住几百毫秒，且不同 rank 时间偏移导致后续同步失效。这行代码不起眼，但缺了就等于没绑卡。 
