Qwen3.6 Docker容器启动失败等问题，需依次校验GPU与共享内存配置、K8s资源请求、vLLM API连通性、RDMA/IPC异常及模型路径挂载权限。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在使用Qwen3.6支撑运维场景时，发现Docker容器无法正常启动、Kubernetes中Pod持续Pending或API服务不可达，则可能是由于容器资源配置、vLLM参数适配或集群网络策略未对齐所致。以下是解决此问题的步骤：
一、校验Docker容器GPU与共享内存配置
Qwen3.6（尤其是35B-A3B FP8版本）依赖GPU加速与大容量共享内存进行高效推理，若shm_size不足或gpus未正确声明，会导致vLLM初始化失败或OOM崩溃。
1、确认宿主机已安装nvidia-container-toolkit并重启docker daemon。
2、检查docker-compose.yml中gpus: all字段是否存在，且未被注释或覆盖为gpus: "device=0"等受限值。
3、验证shm_size是否设为"16gb"或更高；若使用A10/A800等显存较小卡，可临时降至"8gb"但需同步降低max-model-len。
4、运行docker exec -it qwen36-vllm nvidia-smi，确认容器内可见GPU设备及驱动版本匹配。
5、执行docker exec -it qwen36-vllm df -h /dev/shm，确保/dev/shm挂载大小与配置一致。
二、修正Kubernetes Pod资源请求与限制
K8s调度器依据resources.requests分配节点，若未显式声明GPU资源或内存下限，可能导致Pod因资源不满足而长期处于Pending状态，尤其在混合GPU/CPU节点池中易被误调度至无GPU节点。
1、在Deployment的containers.resources下添加nvidia.com/gpu: 1请求项，格式为limits: {nvidia.com/gpu: "1"}。
2、设置memory: "32Gi"与cpu: "8"作为最小保障，避免因节点内存碎片化导致调度失败。
3、为容器添加securityContext.privileged: true（仅限可信内网环境），确保vLLM可访问/dev/infiniband等设备。
4、在Pod模板中注入env变量VLLM_ALLOW_LONG_MAX_MODEL_LEN="1"，防止K8s默认安全策略截断环境变量。
5、使用kubectl describe pod <pod-name>检查Events字段，定位FailedScheduling具体原因（如Insufficient nvidia.com/gpu）。
三、排查vLLM OpenAI API服务连通性
vLLM容器虽启动成功，但外部无法调用API，常见于端口暴露缺失、host绑定错误或健康检查路径未就绪，导致Ingress或Service流量无法转发至容器内部。
1、确认command参数中--host设为"0.0.0.0"而非"127.0.0.1"，否则仅响应localhost请求。
2、检查容器日志中是否输出Uvicorn running on http://0.0.0.0:8000及Application startup complete，排除FastAPI启动阻塞。
3、在Pod内执行curl -v http://localhost:8000/health，验证服务进程自身可达；若失败，说明vLLM加载模型异常。
4、通过kubectl port-forward service/qwen36-service 8000:8000本地直连测试，绕过Ingress/Nginx层，确认是否为网关配置问题。
5、检查Service的targetPort是否与容器EXPOSE端口一致（如均为8000），且selector标签精确匹配Pod标签。
四、诊断K8s节点级RDMA与IPC异常
当启用ipc: host或部署于支持eRDMA的Alibaba Cloud Linux节点时，若容器无法访问/dev/infiniband设备，将导致vLLM多卡通信失败、tensor parallel超时或推理延迟激增。
1、在宿主机执行ls /dev/infiniband/，确认存在rdma_cm与uverbs0等设备文件。
2、检查Pod YAML中是否配置hostIPC: true与devices字段，显式挂载RDMA设备：- devicePath: /dev/infiniband/rdma_cm, permissions: "rw"。
3、验证节点是否安装erdma-kmod驱动，运行modinfo erdma确认模块已加载。
4、在容器内执行ibstat（需提前安装infiniband-diags），检测RDMA链路状态是否为Active。
5、若使用KubeSkoop，运行kubeskoop trace -n default -p <pod-name> --rdma捕获RDMA通信丢包与超时事件。
五、验证模型路径挂载与只读权限冲突
Qwen3.6-35B-A3B-FP8模型体积超10GB，若Docker volume挂载路径错误、宿主机模型目录权限不足或read_only: true与vLLM写缓存需求冲突，将引发FileNotFoundError或PermissionDenied错误。
1、确认volumes中source路径在宿主机真实存在，且包含config.json、model.safetensors等核心文件。
2、在宿主机执行ls -ld /models/Qwen3.6-35B-A3B-FP8，确保目录权限为drwxr-xr-x且属主为root或1001（vLLM默认UID）。
3、检查容器内/models/Qwen3.6-35B-A3B-FP8是否可读：docker exec -it qwen36-vllm ls -l /models/Qwen3.6-35B-A3B-FP8 | head -5。
4、若日志出现Failed to load model且含OSError: [Errno 13] Permission denied，临时将read_only: false测试是否为只读挂载导致。
5、使用docker inspect qwen36-vllm | jq '.[0].Mounts'核对挂载源路径、目标路径与RO/RW标志是否与预期一致。
