DeepSeek微调需严格遵循数据驱动校准流程：必须使用input/output成对的JSONL格式训练数据，避免非结构化文本；推荐unsloth+peft单卡方案，加载时启用4bit量化；LoRA参数设lora_r=64、lora_alpha=16；max_seq_length≤2048且建议1920；验证集须覆盖否定类样本以防逻辑偏差。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
DeepSeek微调不是“一键训练就能上线”的过程，它本质是一次有明确目标的数据驱动参数校准——如果你没先定义清楚「模型在什么输入下该给出什么输出」，后续所有步骤都会漂移。
训练数据必须是input/output成对的JSONL格式
DeepSeek-R1系列（包括R1-Distill-Qwen-7B等）的监督微调严格依赖结构化指令样本。不是原始语料、不是纯文本段落、也不能只有一段对话历史。
- 每行必须是合法JSON，且只含
input和output两个字段；示例：{"input": "请解释《民法典》第1043条", "output": "该条倡导家庭成员敬老爱幼、互相帮助..."} - 避免混入
instruction、system或history等字段——除非你用的是自定义模板，否则主流LoRA训练脚本（如Unsloth）会直接报KeyError: 'input' - 中文场景下特别注意：标点全角/半角不统一、空格残留、换行符
\n未转义，都可能导致tokenizer截断或padding错位，最终训练loss震荡
unsloth + peft 是单卡微调最稳的组合
别碰原生transformers.Trainer跑DeepSeek-R1——它默认不做QKV层隔离，在7B模型上极易OOM。Unsloth封装了FastLanguageModel，底层已预设好LoRA注入点。
- 安装命令必须带
--no-deps：否则pip install unsloth可能覆盖你已有的accelerate版本，引发get_peft_model() missing 1 required positional argument: 'peft_config' - 加载模型时务必指定
load_in_4bit=True和bnb_4bit_compute_dtype=torch.bfloat16，否则RTX 4090显存占用会从18GB飙到26GB+ - LoRA配置中，
lora_r=64和lora_alpha=16是实测平衡点；若设lora_r=128，单步训练时间增加35%，但精度提升不足0.8%，不值得
训练时max_seq_length必须≤2048且与分词器对齐
DeepSeek-R1预训练时使用的是DeepSeekTokenizer，其model_max_length硬编码为2048。如果强行设max_seq_length=4096，训练会静默截断后半段，验证集指标虚高，上线后长输入直接崩。
- 检查方式：
print(tokenizer.model_max_length)，不是看config.max_position_embeddings - 实际训练中建议设
max_seq_length=1920，留128长度给system提示或特殊token，避免token_ids末尾被意外pad成0 - 若数据中存在超长
input（如整篇PDF解析文本），必须提前切分——用textwrap.fill()按句号切不靠谱，要用spacy依存分析找语义完整子句
最容易被忽略的其实是验证集构造逻辑：它不能只是训练集随机抽样10%。DeepSeek在医疗/法律等强逻辑场景中，一旦验证集里缺了“否定类样本”（如input含“不推荐”“禁止”“除外”等词），eval_loss会稳定在0.8以下，但线上遇到真实否定请求时，模型仍大概率生成肯定式回答。
