Embedding层不能直接处理原始字符串，因其仅接受long类型整数索引；必须先通过词汇表将字符串映射为唯一整数ID，并确保padding、truncation、OOV处理及预训练权重加载等前置步骤正确完成。
Embedding层为什么不能直接处理原始字符串
PyTorch 和 TensorFlow 的 Embedding 层只接受整数索引（long 类型张量），不是字符串或 tokenized 文本。如果你把 "apple" 直接喂给 nn.Embedding，会报 TypeError: expected LongTensor。必须先做词汇表映射：每个词 → 一个唯一整数 ID。
常见错误现象：RuntimeError: Expected tensor for argument #1 'indices' to have scalar type Long but got Float instead——本质是输入类型错了，不是维度或 shape 问题。
- 先用
torchtext.vocab.build_vocab_from_iterator或手动构建dict[str, int]映射 - 对句子分词后，调用
vocab.get_itos()和vocab.get_stoi()（PyTorch）或tf.keras.preprocessing.text.Tokenizer（TF） - 注意：
UNK、PAD、EOS等特殊 token 必须显式加入词汇表并分配 ID
PyTorch 中 Embedding 层的正确初始化与使用方式
nn.Embedding 本质是查表操作：输入是 [batch_size, seq_len] 的整数 ID 张量，输出是 [batch_size, seq_len, embedding_dim] 的浮点向量张量。它不参与分词，也不做预训练权重加载——那是你自己的事。
容易踩的坑：num_embeddings 必须 ≥ 词汇表大小，且最大 ID 值不能超过 num_embeddings - 1，否则运行时报 IndexError: index out of range in self。
立即学习“Python免费学习笔记（深入）”；
-
embedding = nn.Embedding(num_embeddings=10000, embedding_dim=300)—— 这里 10000 是 vocab size，不是 batch size - 输入张量 dtype 必须是
torch.long，可用.to(torch.long)强制转换 - 如果用了预训练词向量（如 GloVe），用
embedding.weight.data.copy_(torch.tensor(glove_matrix))替换初始化权重，别忘了requires_grad=False控制是否微调
TensorFlow/Keras 中 Embedding 层的 shape 陷阱
Keras 的 Embedding 层要求输入是 2D 整数张量，shape 为 (batch_size, sequence_length)，但很多人卡在 padding 不一致或 input_length 设错上。
典型错误：ValueError: Input 0 of layer embedding is incompatible with the layer: expected axis 1 of input shape to have value 50 but received input with shape (None, 47)——这是因为创建层时写了 input_length=50，但实际输入序列长度不统一，又没做 padding。
- 要么提前用
tf.keras.preprocessing.sequence.pad_sequences统一长度，再设固定input_length - 要么设
input_length=None（Keras 2.8+ 支持），让层自动适配变长输入（内部仍按 batch 内最长序列 pad） -
mask_zero=True很关键：它让 ID=0 自动被 mask 掉，后续 LSTM/Attention 层可跳过 padding 位置；但你要确保 vocab 中PAD真的对应 ID 0
离散到连续的关键中间步骤：别漏掉 padding 和 truncation
Embedding 层本身不处理变长序列，但真实文本几乎都是变长的。忽略这步，模型根本跑不起来。
性能影响明显：过长的 sequence_length 会大幅增加显存占用（尤其是 batch × seq_len × embed_dim），而截断太狠又丢语义。
- 用
torch.nn.utils.rnn.pad_sequence（PyTorch）或pad_sequences（TF）做右填充，填充值设为PAD对应的 ID - truncation 要配合 tokenizer 使用，比如
tokenizer.encode(text, max_length=512, truncation=True)，不是 Embedding 层的事 - 注意：padding ID 必须和
Embedding的padding_idx（PyTorch）或mask_zero（TF）对齐，否则 mask 失效，梯度算错
Embedding 层只是查表器，它不管你怎么分词、怎么对齐、怎么处理 OOV。真正决定效果的是前面那几步：词汇表质量、padding 策略、以及是否冻结预训练权重——这些地方出错，后面模型再深也没用。
