直接用AutoModel.from_pretrained()加载Hugging Face预训练模型，自动匹配权重与配置，并配套Tokenizer；需确保模型ID正确、网络通畅、磁盘空间充足，否则会报OSError或ConnectionError。
怎么加载 Hugging Face 的预训练 Transformer 模型
直接用 AutoModel.from_pretrained() 就行，不用自己拼模型结构。它会自动匹配权重和配置，连 tokenizer 都配套给你——但前提是模型名写对、网络通、磁盘有空间。
- 模型名必须是 Hugging Face Hub 上的真实 ID，比如
"bert-base-uncased"或"google/flan-t5-small"，拼错或大小写不对会报OSError: Can't load config for ... - 首次调用会自动下载（约 0.5–2 GB），如果内网/代理没配好，卡在
ConnectionError或超时，可提前用huggingface-cli download离线拉取 - 不加
torch_dtype=torch.float16参数的话，默认加载为float32，显存占用翻倍；小显卡（如 8GB）建议显式指定
Tokenizer 怎么配才不会输入报错
AutoTokenizer.from_pretrained() 必须和模型用同一个 ID，否则 token id 对不上，model(input_ids) 会输出全零或 nan，甚至直接 IndexError: index out of range in self。
- 别用
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")去喂T5ForConditionalGeneration，T5 用的是T5Tokenizer，虽然AutoTokenizer能自动 dispatch，但硬写死类名就绕过自动识别了 - 中文任务记得加
use_fast=True（默认已启用），否则慢且可能漏掉某些 subword 边界；但极少数模型（如某些老版 RoFormer）不支持 fast tokenizer，会 fallback 并警告 -
tokenizer(..., return_tensors="pt")必须加，否则返回 Python list，模型接收不了；漏了就会报TypeError: expected Tensor, but got list
怎么改输出层做下游任务微调
预训练模型本身不带任务头，AutoModel 返回的是 last hidden state；要做分类/NER/生成，得接对应 head——别手动 nn.Linear 接，优先用 AutoModelForSequenceClassification 这类封装类。
- 分类任务：用
AutoModelForSequenceClassification.from_pretrained(..., num_labels=3)，它内部自动加了classifier层；自己用AutoModel+ 手动接层，容易维度对不上（比如 BERT 输出是[batch, seq_len, 768]，但分类要的是[batch, 768]） - 序列标注（如 NER）：选
AutoModelForTokenClassification，别忘了传num_labels，否则默认 2 类，训完指标诡异 - 生成任务（如摘要）：用
AutoModelForSeq2SeqLM，注意 T5/BART/PEGASUS 输入格式不同——T5 要加前缀如"summarize: "，漏了模型根本学不会任务意图
为什么训练时 loss 不降或梯度爆炸
常见不是代码写错，而是预训练模型的“出厂设置”和你的数据不兼容：学习率太高、输入长度超限、label 格式不对。
- 学习率别沿用 CNN 的 1e-3；Transformer 微调推荐 2e-5 到 5e-5，用更大的 lr 容易一上来就
nan，尤其用 AdamW 时 weight decay 默认 0.01，和 lr 强耦合 - 输入长度超过模型最大上下文（BERT 是 512，Longformer 是 4096），
tokenizer默认会截断，但如果你关了truncation=False又没做 padding，batch 内序列长度不一致，DataLoader 会报ValueError: Expected input batch_size (X) to match target batch_size (Y) - 分类任务 label 必须是
torch.long，哪怕只有 0/1 两类；喂成float或numpy.int64，loss 计算会静默出错，值看起来正常，但反向传播失效
最常被跳过的其实是 tokenizer 和 model 的版本一致性——同一模型 ID，不同 huggingface-transformers 版本加载的 tokenizer 行为可能差一个 subword，模型输出就偏移。跑不通时先 print(tokenizer.version, transformers.__version__)，比瞎调 learning rate 真实得多。
