跨领域分类核心是冻结特征层+替换并训练分类头，需选匹配预训练模型、精简分类头、分阶段微调、对齐数据分布。
直接用预训练模型做跨领域分类，核心是“冻结特征层 + 替换并训练分类头”，不是从零训练，而是借力已学好的通用视觉或语义表征。
选对预训练模型是第一步
根据你的目标领域决定基础模型：
- 图像跨域（比如医学影像→卫星图）：优先选 ResNet50、ViT-Base 这类在 ImageNet 上预训练的视觉模型
- 文本跨域（比如新闻标题→电商评论）：用 BERT-base、RoBERTa 等在大规模语料上预训练的语言模型
- 如果源域和目标域差异极大（如遥感图→手写数字），可考虑在中间数据集（如 DomainNet）上再做一次中间微调
替换并精简分类头
原模型最后一层通常是 1000 类（ImageNet），而你的任务可能只有 3 类或 8 类。必须改：
- PyTorch 示例：model.fc = nn.Linear(2048, num_classes)（ResNet）或 model.classifier = nn.Linear(768, num_classes)（BERT）
- 建议加一层 Dropout（0.2~0.5）和 ReLU，缓解小样本过拟合
- 不推荐直接删掉整个 head 后接复杂网络——迁移学习靠的是“好特征 + 简单决策”，不是堆参数
分阶段训练更稳
别一上来就调所有参数，容易破坏已有特征能力：
立即学习“Python免费学习笔记（深入）”；
- 阶段1（冻结主干）：只训练新分类头，学习率设为 1e-3 ~ 1e-2，跑 5–15 个 epoch
- 阶段2（解冻微调）：放开最后1–2个 block（图像）或最后2层 transformer（文本），学习率降到 1e-4 ~ 5e-5
- 用 ReduceLROnPlateau 或 OneCycleLR 自动调学习率，比固定衰减更适应跨域数据分布突变
数据层面不能只靠“搬”
跨领域难点常出在数据分布偏移上，光调模型不够：
- 做简单归一化对齐：比如把目标域图像统一 resize 到 224×224 + ImageNet 均值方差标准化
- 用 领域对抗训练（DANN） 或 特征对齐损失（MMD） 可进一步缩小源/目标特征分布距离（进阶可选）
- 哪怕只有少量目标域标签，也建议用 半监督伪标签（UDA / FixMatch） 扩充训练信号
基本上就这些。关键不是模型多大，而是怎么让预训练知识“愿意”帮你的新任务做事——冻结、替换、分训、对齐，四步走下来，90% 的跨领域分类任务都能跑通。
