PyTorch无现成Prompt微调层，需手动添加nn.Parameter初始化的prompt embedding并拼接到输入前端；推荐使用PEFT库的PromptTuningConfig（peft_type="PROMPT_TUNING"），注意版本兼容、tokenizer padding_side设为"left"、推理时用PeftModel.generate()。
PyTorch里没有现成的“Prompt微调层”，得自己搭
PyTorch本身不提供 PromptTuningLayer 或 PrefixEncoder 这类封装好的模块。所谓“Prompt微调”，本质是往预训练模型的输入或隐藏层中注入可学习的向量（prompt embedding），而这些向量必须和原模型参数一起参与反向传播。因此，你需要手动在模型前向逻辑中插入额外参数，并确保它们被 optimizer 管理。
常见错误是直接修改 model.input_embeddings() 并覆盖原始权重——这会破坏预训练语义；更稳妥的做法是：保留原 embedding 不变，只新增一组 nn.Embedding 作为 prompt token 的表示，然后拼接到输入序列前端。
- 用
nn.Parameter(torch.randn(...))初始化 prompt 向量，别用nn.Embedding（后者默认带 padding_idx 行为，容易干扰梯度） - prompt 长度通常设为 5–20，太长会显著增加显存和计算开销
- 务必在
forward中将 prompt 向量与原始 input embedding 拼接：torch.cat([prompt_embeds, input_embeds], dim=1) - 若用 Hugging Face 的
AutoModelForCausalLM，需继承并重写forward，不能靠add_adapter或peft自动注入（除非你明确启用 PEFT）
用PEFT库比手写更稳，但要注意LoRA和Prompt Tuning的区别
如果你不是为了教学或调试，直接上 peft 库更可靠。它把 Prompt Tuning 封装成了 PromptTuningConfig，但要注意：它默认只支持 AutoModelForSequenceClassification 和部分 CausalLM（如 LLaMA、Phi），对 BERT 类模型支持有限。
一个关键区别是：LoRA 修改的是线性层权重增量，而 Prompt Tuning 修改的是输入序列的 embedding 前缀——两者优化目标和内存占用完全不同。混用时容易误以为“加了 PEFT 就等于 prompt 微调成功”，其实可能只是启用了 LoRA。
立即学习“Python免费学习笔记（深入）”；
- 确认配置中
peft_type="PROMPT_TUNING"，不是"LORA"或"PREFIX_TUNING" -
task_type必须匹配下游任务，比如生成任务用"CAUSAL_LM"，分类任务用"SEQ_CLS" - 加载后检查模型结构：
print(model.base_model.model.model.layers[0])—— 如果没看到prompt_encoder或类似子模块，说明配置未生效 - 显存占用比全参数微调低 80%+，但比 LoRA 略高，因为 prompt embedding 是按 batch * seq_len 存储的
HF Transformers + PEFT 的典型报错：KeyError: 'prompt_tuning' 或 forward() missing 1 required argument
这类错误基本都源于版本兼容问题或 config 加载方式不对。Hugging Face 在 v4.30+ 才把 PromptTuningConfig 正式纳入 peft 主干，旧版只能靠 PrefixTuningConfig 曲线救国。
另一个高频坑是：用 get_peft_model 包装模型后，忘记把 tokenizer 的 padding_side 设为 "left"（对 causal LM 而言）。否则 prompt 拼在开头会被截断，导致训练时 loss 爆涨。
- 确保
transformers>=4.35.0且peft>=0.7.0，用pip install "transformers[torch]" peft避免依赖冲突 - 初始化
PromptTuningConfig时必须指定num_virtual_tokens和token_dim（后者要和模型 hidden_size 一致） - 如果模型是
LlamaForCausalLM，get_peft_model返回的对象不能直接传给Trainer的model_init，得先model.to(device) - 报
forward() missing 1 required argument多半是因为你重写了forward却漏传了inputs_embeds，而 PEFT 内部依赖它做 prompt 注入
推理时别忘了把 prompt embeds 和 input_ids 一起喂进去
训练完的 Prompt Tuning 模型不能像普通模型那样只传 input_ids。因为在前向过程中，prompt 向量是硬编码进模型参数里的，但它的位置依赖于输入长度——你得保证每次推理时 prompt 都插在序列最前面，且长度固定。
最简做法是在推理前手动构造输入：先用 tokenizer 编码原始文本，再拼上 prompt token ids（比如全填 tokenizer.pad_token_id），最后用 model(input_ids=...) 推理。但这容易出错，推荐用 PeftModel.generate() 方法，它内部已处理好 prompt 对齐逻辑。
- 不要用
model.base_model.generate()，它会跳过 prompt 注入逻辑 - 如果自定义生成逻辑，必须调用
model.get_input_embeddings()获取 embedding 层，并显式计算 prompt_embeds - prompt token 在 tokenizer 中无对应词表 ID，所以不能用
tokenizer.convert_tokens_to_ids()转换，必须用nn.Embedding查表 - batch 推理时注意 prompt 长度必须一致，否则
torch.cat会报 shape mismatch
实际部署时最容易被忽略的一点：prompt 向量是模型权重的一部分，但不会自动保存进 safetensors 的主权重文件里。用 model.save_pretrained() 时，必须同时保存 adapter_config.json 和 prompt embedding 张量（通常在 adapter_model.safetensors 中），缺一不可。
