必须显式配置进程分布、设备映射与通信后端才能实现多GPU并行推理，仅设CUDA_VISIBLE_DEVICES无效；需验证GPU识别、NVML初始化、跨节点网络连通性，并按硬件选择NCCL（单节点）或Ring（跨节点）后端，最后通过torchrun启动并检查日志确认后端启用。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在多块GPU上运行Mistral AI模型并实现真正意义上的并行推理，必须绕过单卡加载的默认行为，通过显式配置进程分布、设备映射与通信后端，让不同GPU协同承担前向计算负载。单纯靠自动识别GPU数量或设置CUDA_VISIBLE_DEVICES无法触发张量并行或流水线并行。
确认硬件与通信基础
执行 nvidia-smi -L 查看所有可见GPU设备编号，确保每张卡均处于PCIe插槽且驱动版本≥535；【若任意GPU显示“Failed to initialize NVML”则后续torchrun必报错】
运行 python -c "import torch; print(torch.cuda.device_count())" 验证PyTorch能识别全部GPU；若输出数字小于物理卡数，说明CUDA环境未正确加载。
跨节点部署时，需在所有机器上启用SSH免密登录，并用 ping 和 nc -zv $IP 29500 测试TCP端口连通性——【mistral.rs默认使用29500端口进行Ring后端通信】
选择并配置分布式后端
根据硬件条件选择通信后端：
方法一：NCCL（仅限单节点、NVIDIA GPU、NVLink或高速PCIe）
无需额外配置，torchrun自动启用；确保所有GPU在同一PCIe根复合体下，否则延迟飙升。
方法二：Ring（支持跨节点、任意GPU/CPU混合）
需手动指定 --master-addr 和 --master-port，并在每个节点启动时传入 --nproc-per-node 与 --nnodes；【master节点必须是第一个rank=0的机器，且其IP需被所有节点解析】
启动多GPU分布式推理服务
第一步：进入项目根目录，确保 model/ 下已存放完整权重（如 mistral-7b-instruct-v0.2/）
第二步：构造启动命令
单节点双卡示例：torchrun --nproc-per-node 2 --no-python mistral-demo ./model/mistral-7b-instruct-v0.2 --max-batch-size 4 --max-seq-len 4096
第三步：验证进程分布
执行 ps aux | grep "mistral-demo" | grep -v grep，应看到两个Python进程，各自绑定不同CUDA_VISIBLE_DEVICES值（如 CUDA_VISIBLE_DEVICES=0 和 CUDA_VISIBLE_DEVICES=1）
第四步：检查日志输出
任一进程日志中出现 Using NCCL backend 或 Using Ring backend 即表示通信初始化成功；若卡在 Waiting for rendezvous... 超过30秒，说明节点间握手失败，需检查防火墙或IP配置。
