max_norm开启时会触发全量嵌入向量L2归一化，导致显存暴涨2–3倍；应关闭该参数或改用手动F.normalize仅处理当前batch索引行。
Embedding层OOM时优先检查max_norm和norm_type是否误启
百万级词表（比如1M+）的nn.Embedding本身不必然OOM，但一旦开启max_norm，PyTorch会在每次前向传播中对全部嵌入向量做L2归一化——这会触发全量梯度计算和内存驻留，导致显存暴涨2–3倍。尤其当embedding_dim=300、num_embeddings=1_200_000时，仅参数就占约1.3GB（FP32），加上归一化中间张量，很容易突破16GB卡内存。
实操建议：
- 确认是否真需要逐向量归一化：多数NLP任务（如BERT微调、分类）并不依赖
max_norm，关掉它能立竿见影释放显存 - 若必须约束范数，改用
F.normalize(embed, p=2, dim=1)在需要时手动归一，只作用于当前batch的索引对应行，避免全表扫描 -
norm_type默认是2，但设为1或inf不会缓解OOM——瓶颈在“全量操作”，不在范数类型
用nn.Embedding.from_pretrained()加载时务必设freeze=True
加载预训练词向量（如GloVe、FastText）进百万级Embedding层时，若忘记设freeze=True，PyTorch会为全部1M+参数创建requires_grad=True的梯度缓冲区，即使后续没用到反向传播，也会占用额外显存并拖慢初始化。
常见错误现象：torch.cuda.memory_allocated()显示加载后显存激增，但模型还没开始训练。
立即学习“Python免费学习笔记（深入）”；
实操建议：
- 显式传参：
nn.Embedding.from_pretrained(weight, freeze=True)，别依赖默认值（默认freeze=False） - 如果只需部分词向量可训练（例如UNK或低频词），先
freeze=True，再对特定索引手动设embedding.weight[unk_idx].requires_grad = True - 加载后立即检查：
print(embedding.weight.requires_grad)，确保符合预期
动态裁剪词表：用torch.nn.utils.prune.custom_from_mask()替代重训
实际任务中，百万词表往往只有几万词在训练集里真实出现。保留全部参数只是浪费——但直接删行会破坏索引对齐，prune模块提供安全的“逻辑删除”方案：把未登录词对应行置零，并屏蔽其梯度更新，不改变num_embeddings值，兼容现有数据管道。
使用场景：迁移学习、领域适配、冷启动模型压缩。
实操建议：
- 统计训练语料词频，生成布尔掩码
mask（shape=[1_000_000]），高频词为True，其余False - 执行：
prune.custom_from_mask(embedding, name='weight', mask=mask.unsqueeze(1))（注意unsqueeze(1)对齐权重维度） - 被裁剪行的梯度始终为0，且前向输出恒为0向量，等效于“禁用该词”，无需修改tokenizer或数据预处理
替换为torch.nn.EmbeddingBag前先验证输入是否满足per_sample_weights需求
EmbeddingBag比Embedding省内存，因为它不保存中间嵌入向量，而是直接聚合（sum/mean）。但它的输入要求是offsets + indices，不是常规的[B, L]张量。强行转换可能引入隐蔽bug：比如把单句当多句切分，或offsets错位导致聚合跨样本。
性能影响：在batch size大、序列短（如平均长度EmbeddingBag快15–30%；但若需逐token attention权重，则无法使用。
实操建议：
- 仅当模型结构天然支持bagging（如文本分类、句子相似度）时才换，别为了省显存硬改Seq2Seq或BERT类结构
- 验证
offsets构造逻辑：offsets = torch.tensor([0, len(seq1), len(seq1)+len(seq2), ...])，必须严格递增且首项为0 - 若需加权聚合（如TF-IDF加权），启用
per_sample_weights，但注意它会让显存回升——权重张量大小等于indices.numel()
真正棘手的不是词表大小本身，而是那些隐式触发全量计算的操作：归一化、梯度注册、未裁剪的稀疏索引。动手前先用torch.cuda.memory_summary()抓一次前向后的显存分布，比盲目调参更有效。
