TensorFlow 2.x 中 PS 架构已彻底移除，无等价替代；官方推荐使用 tf.distribute.MultiWorkerMirroredStrategy 进行多机训练，需通过 TF_CONFIG 环境变量配置集群并确保变量在 strategy.scope() 内创建。
TensorFlow 1.x 的 PS 架构还能用吗
不能直接用了。从 TensorFlow 2.0 开始，tf.train.Server、tf.train.ClusterSpec、tf.train.replica_device_setter 这套参数服务器（PS）训练原语已被彻底移除，且没有等价替代。官方明确转向 tf.distribute.Strategy（尤其是 tf.distribute.MultiWorkerMirroredStrategy）作为多机训练标准接口。如果你手头是 TF 2.x（哪怕启用了 v1 兼容模式），硬套旧 PS 代码大概率会遇到 AttributeError: module 'tensorflow' has no attribute 'train' 或初始化失败。
TF 1.x 环境下启动 PS 和 worker 的关键命令
必须保证所有节点使用同一份 ClusterSpec 描述，并通过环境变量或显式参数传入角色信息。常见错误是 PS 地址写错、端口被占用、或各节点看到的 cluster spec 不一致。
- 先定义集群结构（例如 1 个 PS + 2 个 worker）：
cluster_spec = {"ps": ["ps0.example.com:2222"], "worker": ["w0.example.com:2222", "w1.example.com:2222"]} - 在 PS 节点上运行：
python train.py --job_name="ps" --task_index=0 --ps_hosts="ps0.example.com:2222" --worker_hosts="w0.example.com:2222,w1.example.com:2222"
- 在 worker 0 上运行：
python train.py --job_name="worker" --task_index=0 --ps_hosts="ps0.example.com:2222" --worker_hosts="w0.example.com:2222,w1.example.com:2222"
-
--ps_hosts和--worker_hosts必须完全相同，否则tf.train.Server无法建立连接；--task_index必须唯一且从 0 开始编号
为什么 PS 模式在 TF 2.x 中被弃用
核心原因是工程复杂度和维护成本过高：PS 模式要求用户手动管理变量放置、梯度聚合、同步/异步逻辑、容错恢复，极易写出非确定性或死锁代码。而 MultiWorkerMirroredStrategy 把通信细节封装进 NCCL 或 gRPC 后端，自动处理 all-reduce、检查点分片、任务重启恢复。实际迁移时，你只需把模型构建、model.compile()、model.fit() 包进 strategy.scope()，其余交给框架。
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...
- 旧 PS 代码中大量
with tf.device("/job:ps/task:0"):手动指定设备 → 新方式中全部由策略自动调度 - PS 模式需自己实现
tf.train.SyncReplicasOptimizer或处理异步更新冲突 → 新方式默认同步 all-reduce，一致性有保障 - TF 2.x 的 eager execution 默认开启，与 PS 的 graph mode 天然不兼容，强行混合会导致
RuntimeError: tf.function-decorated function tried to create variables on non-first call
如果必须用 TF 2.x 做多机训练，该选什么
用 tf.distribute.MultiWorkerMirroredStrategy，但要注意它不模拟 PS 架构，而是全量副本+all-reduce。这意味着每个 worker 都持有完整模型副本，参数更新通过环形或树状通信完成，不依赖中心 PS 节点。
立即学习“Python免费学习笔记（深入）”；
- 启动前必须设置环境变量：
export TF_CONFIG='{"cluster": {"worker": ["w0:12345", "w1:12345"]}, "task": {"type": "worker", "index": 0}}'（每台机器 index 不同） - 代码中创建 strategy：
strategy = tf.distribute.MultiWorkerMirroredStrategy()
- 所有可训练变量（包括 optimizer state）必须在
strategy.scope()内创建，否则会报ValueError: Variable not in scope - 性能上，worker 数量增多时，通信开销上升明显；若网络带宽不足（如千兆网），吞吐可能不升反降
真正需要 PS 架构的场景（比如超大 embedding 表无法单机加载）现在通常改用 tf.distribute.ParameterServerStrategy —— 但它仅支持 TF 2.5+ 且必须配合 tf.keras.utils.experimental.DatasetCreator 和定制训练循环，不是简单替换 API 就能跑通的。
