公网与私网规划虽不直接决定GPU配置，但深刻影响部署方式、数据流向、安全边界及调度逻辑；需将网络架构作为GPU配置的前提条件，统筹显存预留、带宽匹配、安全隔离、NCCL通信、MIG切分、CPU/存储协同及分层弹性策略。
公网与私网规划本身不直接决定GPU配置，但会显著影响GPU实例的部署方式、数据流向、安全边界和资源调度逻辑。评估GPU加速实例配置时，必须把网络架构作为前提条件之一来考虑，而不是孤立看显存或算力。
公网直连场景：优先保障隔离性与带宽上限
当AI服务需通过公网暴露（如SaaS型大模型API、外部调用的智能客服接口），GPU实例通常需部署在公有云VPC内，并通过SLB/NAT/ALB对外提供服务。此时配置评估重点包括：
- 显存要预留额外Buffer：公网请求不可控，突发并发易导致KV Cache暴涨。例如部署7B模型，bf16权重占14GB，但100并发+4K上下文下，KV Cache可能再吃掉8–12GB，T4 16GB卡极易OOM；A10 24GB或L40S 48GB更稳妥。
- 网络带宽必须匹配吞吐需求：若单实例承载高QPS文本生成，后端模型输出需经公网返回，建议选择支持10Gbps以上内网带宽的实例（如阿里云gn7i、AWS p4d），避免GPU算力空转等网络发包。
- 避免GPU实例直接暴露公网IP：训练任务尤其忌讳——不仅存在SSH爆破、CUDA漏洞利用风险，还可能被恶意触发长序列推理耗尽显存。应强制通过API网关+WAF前置，GPU节点仅开放内网通信端口（如vLLM默认8080仅绑定0.0.0.0:8080需改为127.0.0.1或内网IP）。
私网隔离场景：聚焦低延迟互联与资源复用效率
企业内网、专有云或混合云中，GPU实例常用于知识库问答、代码辅助、内部BI分析等场景。此时网络是可信域，配置评估转向性能密度与协同效率：
- 多卡训练必须验证NCCL通信路径：私网环境若未启用RDMA（如RoCEv2）或NVSwitch，8卡A100间全连接依赖PCIe交换，实际AllReduce带宽可能不足理论值30%。应实测`nccl-tests`的`all_reduce_perf`，确认延迟＜5μs、带宽＞70GB/s才适合分布式训练。
- 推理服务可采用GPU切分（MIG或vGPU）：私网中任务类型杂（Rerank+Embedding+Chat同时运行），整卡独占浪费严重。A100支持7个MIG实例（每个约10GB显存+1/7算力），L40S虽不支持MIG但可通过CUDA_VISIBLE_DEVICES限制显存配额，配合ZStack AIOS类平台实现细粒度调度。
- CPU与存储需与GPU“节奏同步”：私网无公网带宽瓶颈，但若CPU核数过少（如4核配A100），数据预处理成为瓶颈，GPU利用率常低于40%；同样，若使用普通SATA SSD作模型加载盘，ResNet类训练中I/O等待会让GPU停顿超60%。推荐CPU≥32核、本地NVMe SSD≥2TB、带宽≥7GB/s。
混合网络架构下的配置弹性策略
多数企业采用“核心训练私网+边缘推理公网+突发扩容上云”模式。此时GPU配置需分层设计：
- 私网训练集群：固定高配，强调稳定性——选用A100 80GB或H100 80GB，双路CPU+512GB内存+RDMA组网，禁用抢占式实例，确保周级持续训练不中断。
- 公网推理节点：按负载自动伸缩——用A10或L40S实例，搭配Prometheus+HPA监控vLLM的queue_time和gpu_util，当平均延迟＞800ms且并发＞200时自动扩容，空闲15分钟自动缩容。
- 跨网数据通道需专用带宽保障：训练数据从私网NAS同步至公有云对象存储时，避免走默认路由。应单独配置10G专线或云企业网CEN，否则10TB语料同步可能拖慢整个训练流水线。
