不能直接开箱即用。PyTorch 2.0的FSDP是通用包装器，需手动对齐模型结构、显式声明分片策略、避免隐式全gather；共享权重层须用auto_wrap_policy统一包裹，否则报错；7B模型微调推荐FULL_SHARD+CPUOffload(offload_params=True)。
PyTorch 2.0 的 FSDP 能直接微调 LLaMA-2 或 Qwen 这类大语言模型吗？
不能直接开箱即用。PyTorch 2.0 的 FSDP（Fully Sharded Data Parallel）本身是通用分布式训练包装器，不内置模型适配逻辑——它不会自动识别 nn.Embedding 层是否该被分片、lm_head 是否该与 embed_tokens 共享权重、或者 RotaryEmbedding 这类自定义模块是否需要特殊处理。你必须手动做三件事：模型结构对齐、参数分片策略显式声明、以及前向/反向中避免隐式全 gather。
微调时必须重写模型的 forward 吗？
不一定重写，但必须确保所有子模块都兼容 FSDP 的分片语义。常见踩坑点：
-
FSDP默认对每个nn.Module单独分片，若模型里有self.embed_tokens.weight和self.lm_head.weight共享引用（如 LLaMA），需用auto_wrap_policy把它们包进同一个FSDP实例，否则会报RuntimeError: detected that you are trying to use a shared parameter in FSDP - 自定义
forward中若用了.data、.detach().cpu()或任何绕过梯度图的操作，可能触发隐式全 gather，导致 OOM；应改用torch.distributed.all_gather显式通信 - 使用
torch.compile+FSDP时，forward不能含控制流（如if x.shape[0] > 1:），否则编译失败；建议统一 batch size 或用torch._dynamo.config.suppress_errors = True临时绕过
怎么设置 FSDP 的 sharding_strategy 和 cpu_offload 才适合 7B 模型单卡微调？
7B 模型在 A100 40GB 上微调（LoRA 之外），推荐组合：sharding_strategy=ShardingStrategy.FULL_SHARD + cpu_offload=CPUOffload(offload_params=True)。但注意：
-
OFFLOAD_PARAMS会把非活跃参数刷到 CPU，换页延迟高；只在 GPU 显存 - 不要设
sync_module_states=True—— 它会让每层初始化时广播参数，对大模型启动慢且无必要；改为在load_state_dict后手动调用model._fsdp_wrapped_module._load_from_state_dict -
use_orig_params=True必须开启，否则optimizer.param_groups拿不到原始参数名，LoRA 的lora_A/lora_B无法被 optimizer 正确识别
为什么 FSDP + GradientCheckpointing 微调时 loss 突然 nan？
根本原因是 checkpoint 区域内变量生命周期管理冲突。典型表现：loss.backward() 报 RuntimeError: Trying to backward through the graph a second time 或 nan 梯度。解决方式：
立即学习“Python免费学习笔记（深入）”；
- 禁用
transformer.layer内部的torch.utils.checkpoint.checkpoint，改用FSDP自带的backward_prefetch=BackwardPrefetch.BACKWARD_PRE+forward_prefetch=True来摊平显存峰值 - 若坚持用 checkpoint，必须在
checkpoint包裹的函数里显式torch.set_grad_enabled(True)，并确保所有输入 tensor 的requires_grad=True在进入 checkpoint 前已设好 - 检查 tokenizer 输出的
input_ids是否含-100（label ignore index）——FSDP下某些 loss 实现（如nn.CrossEntropyLoss）对 ignore_index 的梯度裁剪逻辑不稳定，建议改用torch.nn.functional.cross_entropy(..., ignore_index=-100, reduction='none')手动 mask
最易被忽略的是 device_id 参数：哪怕单卡运行，也必须显式传 device_id=torch.cuda.current_device() 给 FSDP，否则内部默认用 CPU device 初始化状态，后续 forward 会 silent fail 或 nan。
