Pipeline Parallelism未启用，因Transformers库原生不支持PP，需vLLM等框架显式实现；正确配置需设--tensor-parallel-size 1和--pipeline-parallel-size 2，并验证stage划分与lm_head位置。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
你在本地部署grok-2或grok-3时，发现两张gpu显存严重失衡——gpu 0爆到98%，gpu 1却只用23%，推理频繁oom，不是模型跑不动，而是device_map没走pipeline parallelism路径，参数和计算仍被强行塞进单卡调度流里。确认当前是否真在用Pipeline Parallelism
先别改代码，运行这行命令查清底层并行模式：python -c "from transformers import AutoModel; m = AutoModel.from_pretrained('grok-2', device_map='auto'); print('device_map type:', type(m.hf_device_map).__name__); print('keys:', list(m.hf_device_map.keys())[:5])"。
如果输出里hf_device_map是字典类型，且键包含transformer.h.0【说明仍在用模型并行（Model Parallel）而非Pipeline Parallelism】；Pipeline Parallelism必须由推理框架（如vLLM或自定义Runner）显式启用，device_map='auto'永远不触发PP。
注意：Transformers库原生不支持Pipeline Parallelism——它只做模型加载与device_map分发，PP需vLLM、DeepSpeed或手写stage runner实现。
用vLLM启动Grok并强制启用Pipeline Parallelism
第一步：确保vLLM版本≥0.6.3，该版本起正式支持Grok系列的PP适配。
第二步：设置CUDA_VISIBLE_DEVICES仅暴露目标GPU，例如双卡部署就只设CUDA_VISIBLE_DEVICES=0,1，避免框架误识别闲置GPU干扰PP阶段划分。
第三步：启动命令中必须同时指定--tensor-parallel-size 1和--pipeline-parallel-size 2，缺一不可。vLLM要求TP=1才能启用PP调度器，否则自动降级为TP模式。
完整命令示例：vllm serve --model grok-2 --tensor-parallel-size 1 --pipeline-parallel-size 2 --dtype bfloat16 --gpu-memory-utilization 0.85。其中--gpu-memory-utilization 0.85是关键安全阀，防止PP staging buffer突发占满显存。
手动构造PP stage划分（适用于vLLM未自动切分场景）
方法一：基于层号硬切分
若vLLM启动后仍报错“Failed to auto-split pipeline stages”，说明Grok模型结构未被PP解析器识别，需手动指定stage边界。
进入vLLM源码目录，打开vllm/model_executor/models/grok.py，找到get_num_layers函数，在其返回值后插入硬编码切点：return [0, 36, 72]（Grok-2共72层，双卡PP即每卡36层）。
方法二：用config.json注入stage信息
在模型目录下新建config.json，添加字段"pipeline_parallel_size": 2和"pipeline_stages": [0, 36, 72]。vLLM加载时会优先读取该配置，跳过自动推导。
【务必验证lm_head是否落在最后一stage】——若lm_head被切到stage 0，会导致GPU 0持续高负载，PP形同虚设。
验证PP是否生效
启动服务后，立刻执行nvidia-smi dmon -s u -d 1 -i 0,1，观察两卡的util%是否同步波动：PP模式下，GPU 0完成前半段forward后立即转交GPU 1，两卡利用率曲线应呈锯齿交错状，而非GPU 0长期95%+、GPU 1长期
再开一个终端，发送长文本请求（如4096 token prompt），用vllm metrics命令查看pipeline_stage_time_sec指标——若该值稳定在0.15–0.22秒区间，说明PP staging已正常流转；若始终为0或超1秒，代表stage间通信阻塞或切分错误。
