PyTorch无官方PPO高层模块，离散动作需手动实现Categorical采样、log_prob与entropy计算；必须用GAE算advantage，向量环境需正确reshape张量，entropy_coef应随动作数归一化。
PyTorch里用PPO必须自己实现Categorical采样，官方不提供现成PPO模块
PyTorch本身没有torch.nn.PPO或torchrl.algorithms.PPO这种高层封装（torchrl库有PPO但默认用Normal分布处理连续动作，且Categorical支持不稳定）。你要跑离散动作PPO，得手动搭策略网络、写Categorical(logits=...).sample()、算log_prob和entropy——不能指望nn.Module自动帮你完成策略梯度所需的概率计算链。
常见错误是直接用torch.argmax(logits)选动作：这不可导，无法回传策略梯度；或者忘了在log_prob里传入action.long()导致索引越界。
-
logits输出维度必须和动作空间大小一致，比如env.action_space.n == 4，则head层输出nn.Linear(..., 4) - 采样后立刻用
Categorical(logits=logits).log_prob(action)，注意action要是long类型，否则报Expected dtype long - 别在
forward()里直接sample()——训练时要保留logits用于后续多步loss计算，采样应放在训练循环中
环境并行交互要用gym.vector.AsyncVectorEnv或SyncVectorEnv，别手写多进程
自己用multiprocessing fork多个gym.Env实例容易卡死或共享随机种子，gym.vector已封装好批量重置、批量step、自动堆叠obs/rew/done。用AsyncVectorEnv能隐藏IO延迟，但调试困难；初学者建议从SyncVectorEnv起步。
关键点在于：向量环境返回的obs是(num_envs, *obs_shape)，喂给网络前通常要view(-1, *obs_shape)压平batch维；但logits输出后要再view(num_envs, -1)对齐动作维，否则Categorical会把所有环境的动作混在一起采样。
立即学习“Python免费学习笔记（深入）”；
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 初始化时传入
num_envs=8，意味着每轮收集8条轨迹片段，不是单条轨迹跑8次 -
reset()返回obs是torch.Tensor（如果设了dtype=torch.float32），不用再torch.from_numpy - 别在每个子环境中单独设
seed——用env.seed(seed + i)确保各环境初始状态不同，否则梯度更新失效
PPO训练循环里advantage必须用GAE，不能用原始reward-to-go
离散动作空间下，reward稀疏+方差大，直接算return = sum(reward[t:])会导致梯度爆炸或收敛极慢。必须用广义优势估计（GAE）控制bias-variance权衡，gamma和gae_lambda是敏感参数：
-
gamma通常取0.99（短周期任务可到0.95），低于0.9会导致agent只看眼前奖励 -
gae_lambda取0.95较稳；设为1.0退化为Monte Carlo，设为0.0退化为one-step TD，实际中0.90~0.97最常用 - GAE公式里
next_nonterminal = 1.0 - done，注意done是bool数组，要转float再乘 - 别在
compute_advantage()里用detach()切掉value网络梯度——那是value loss的事，advantage本身不该带梯度
Categorical策略的entropy_loss权重不能硬设为常数
很多实现把entropy_coef = 0.01写死，但在离散动作数变化时（比如从4变到18），这个值会让探索强度剧烈波动。更鲁棒的做法是按动作空间大小归一化：
entropy_coef = 0.01 / np.log(env.single_action_space.n)
否则小动作空间（如2分类）下熵项太弱，策略易坍缩；大动作空间（如Atari的18个键）下熵项过强，agent乱按。
另一个坑是：entropy必须从当前batch的logits重新算，不能复用旧log_prob。正确写法是Categorical(logits=logits).entropy().mean()，而不是用-log_prob.mean()——后者只是负对数似然，不是真实熵。
如果你看到loss曲线里entropy项持续下降但reward不涨，大概率是entropy_coef太小，或用了错误的entropy计算方式。
