Volcano调度器通过PodGroup实现Gang调度、binpack插件缓解GPU碎片、Queue支持多租户配额与硬件隔离、NetworkTopology插件优化跨机架通信，并以VolcanoJob统一管理AI训练任务生命周期。
在Kubernetes集群中运行Spark作业或TensorFlow分布式训练时，常遇到Worker已就绪但Driver/PS卡在Pending、多个任务相互抢占导致GPU长期空转、大模型因跨机架通信延迟过高而训练缓慢等问题，这些问题源于原生调度器无法感知批处理任务的原子性、拓扑依赖与资源协同需求。
部署Volcano调度器并启用核心插件
执行kubectl apply -f https://raw.githubusercontent.com/volcano-sh/volcano/master/installer/volcano-development.yaml安装volcano-scheduler、volcano-admission、volcano-controller三个组件；该命令会自动创建volcano-system命名空间，并部署CRD如PodGroup、Queue、Job。
检查调度器状态：kubectl get pods -n volcano-system -l component=scheduler，确认volcano-scheduler处于Running且READY为1/1；若出现CrashLoopBackOff，请先验证节点是否已安装NVIDIA Device Plugin（GPU场景）或RDMA CNI（HPC场景）。
默认配置下，volcano-scheduler已启用gang、priority、drf、binpack四大插件；其中binpack插件启用后，调度器将优先填满已有节点而非均匀铺开，直接缓解GPU碎片——这是AI训练任务吞吐量翻倍的关键前提。
定义Queue实现多租户资源隔离与配额控制
创建YAML文件queue-prod.yaml，声明生产队列：
apiVersion: scheduling.volcano.sh/v1beta1kind: Queuemetadata: name: prod-queuespec: weight: 3 capacity: 100 guarantee: 60 state: Open
执行kubectl apply -f queue-prod.yaml；【guarantee字段必须显式设置，否则当集群资源紧张时，该队列可能被完全剥夺资源】。
若需限制某团队仅能使用A100-80GB GPU，可在Queue中添加resourceQuota约束：limits.nvidia.com/gpu-a100-80gb: "20"，配合节点标签nvidia.com/gpu-product: A100-SXM4-80GB实现硬件级硬隔离。
用PodGroup封装任务，触发Gang调度
第一步：编写podgroup.yaml，声明最小成员数与所属队列：
apiVersion: scheduling.volcano.sh/v1beta1kind: PodGroupmetadata: name: spark-etl-group namespace: defaultspec: minMember: 5 queue: prod-queue
第二步：为每个Pod添加volcano.sh/group-name: spark-etl-group标签，并将schedulerName设为volcano；Driver Pod需申请resources.limits.cpu: "4"，Executor Pod各申请"nvidia.com/gpu: 1"，确保所有Pod共5个实例满足minMember要求。
第三步：执行kubectl apply -f podgroup.yaml && kubectl apply -f driver-pod.yaml && kubectl apply -f executor-pods.yaml；此时volcano-scheduler会阻塞调度，直到集群中存在能同时容纳5个Pod的资源空隙——避免出现4个Executor Running + 1个Driver Pending的死锁态。
配置网络拓扑感知，加速大模型训练
方法一：基于机架标签调度
对物理同机架节点打标：kubectl label node node-a1 volcano.sh/rack=rack-01 --overwrite，其他同机架节点重复此操作；在Pod模板中添加亲和性规则：
affinity: podAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchLabels: volcano.sh/group-name: llama2-70b-group topologyKey: volcano.sh/rack
方法二：启用Volcano内置NetworkTopology插件
编辑volcano-scheduler-config ConfigMap，将network-topology加入enabledPlugins列表；该插件会自动读取节点上topology.kubernetes.io/zone和volcano.sh/rack标签，优先将同一PodGroup内Pod调度至低跳数网络路径的节点组合。
注意：若集群未部署Multus CNI或SR-IOV Device Plugin，NetworkTopology插件将降级为普通区域亲和，无法感知RDMA或InfiniBand链路质量。
提交VolcanoJob统一管理生命周期
替代原生Job，使用scheduling.volcano.sh/v1beta1/Job资源类型：
apiVersion: batch.volcano.sh/v1alpha1kind: Jobmetadata: name: pytorch-ddp-trainspec: schedulerName: volcano plugins: env: [] svc: [] maxRetry: 3 queue: prod-queue tasks: - name: master replicas: 1 template: spec: containers: - name: pytorch image: pytorch/pytorch:2026-cuda12.1 resources: limits: nvidia.com/gpu: 1 - name: worker replicas: 7 template: spec: containers: - name: pytorch image: pytorch/pytorch:2026-cuda12.1 resources: limits: nvidia.com/gpu: 1
执行kubectl apply -f pytorch-job.yaml；VolcanoJob控制器会自动创建对应PodGroup、注入启动参数（如--nproc_per_node=8）、监听所有Pod状态；任一Pod失败时，按maxRetry策略重建整个任务组，而非单Pod重启——这保证了DDP训练进程间rank一致性和checkpoint可恢复性。
