必须严格按权重加载路径、参数对齐和运行时绑定三步走：先确认LoRA格式与基础模型兼容性，再正确加载量化或FP16基座模型，接着用匹配r值的LoraConfig注入并加载适配器，最后通过merge_and_unload或set_adapter启用推理。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在本地机器上用有限显存完成Mistral AI模型的微调训练，并确保推理时能正确加载LoRA适配器实现风格/领域适配，必须严格按权重加载路径、参数对齐和运行时绑定三步走，跳过任意一环都会导致KeyError或输出退化为原始基座模型。
确认基础模型与LoRA检查点兼容性
打开终端，进入LoRA权重所在目录，执行：ls -l *.safetensors。若文件名含adapter_model.safetensors，说明是PEFT标准格式；若为pytorch_model.bin且无adapter_config.json，则属于旧版Mistral-finetune产出，需先用utils/convert_lora.py转为PEFT格式——否则model.load_lora()会静默失败，不报错但也不生效。
检查基础模型是否为Hugging Face Hub官方发布的mistralai/Mistral-7B-v0.1或mistralai/Mistral-7B-Instruct-v0.2。若使用社区魔改版（如OpenMistral-7B），其层命名可能将q_proj改为q_proj_layer，此时必须手动修改LoRA配置中的target_modules列表，否则get_peft_model()无法定位插入点。
加载量化基础模型并注入LoRA
方法一：使用bitsandbytes 4-bit量化（推荐8–12GB显存环境）
执行：from transformers import AutoModelForCausalLM, BitsAndBytesConfig; bnb_config = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16); model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1", quantization_config=bnb_config, device_map="auto")。这一步必须在get_peft_model()前完成，因为prepare_model_for_kbit_training(model)会修改模型内部钩子，若顺序颠倒，LoRA梯度无法反向传播到量化权重。
方法二：纯FP16加载（仅限24GB+显存）
直接运行：model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1", torch_dtype=torch.float16, device_map="auto")。注意不能加load_in_4bit参数，否则与FP16冲突触发CUDA异常。
配置并绑定LoRA适配器
第一步：初始化LoRA配置
from peft import LoraConfig, get_peft_model; lora_config = LoraConfig( r=8, lora_alpha=32, target_modules=["q_proj","v_proj","k_proj","o_proj"], lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" )。其中r=8必须与训练时完全一致，若训练用r=16而此处写r=8，模型会加载但权重形状不匹配，推理时在matmul处崩溃。
第二步：注入适配器
model = get_peft_model(model, lora_config)。这一步会遍历模型所有层，在target_modules指定的线性层旁插入lora_A和lora_B矩阵。若之前未调用prepare_model_for_kbit_training()（量化场景），此处会报RuntimeError: Expected all tensors to be on the same device。
第三步：加载权重文件
model.load_adapter("path/to/lora_weights", adapter_name="default")。路径必须指向包含adapter_model.safetensors和adapter_config.json的目录，不能只给文件名。若权重保存时用了save_pretrained(..., safe_serialization=True)，则必须用load_adapter而非from_pretrained，后者会覆盖整个模型结构。
推理时启用LoRA权重融合
执行：model = model.merge_and_unload()。该操作将LoRA矩阵A×B计算后加回原始权重，生成一个不含任何LoRA钩子的纯净模型。合并后模型占用显存增加约15%，但推理速度提升20%以上，且可导出为标准HF格式供他人部署。
若需保留LoRA热切换能力（例如同时加载多个领域适配器），则跳过merge_and_unload()，改用model.set_adapter("default")激活指定适配器。此时必须确保model.enable_adapters()已调用，否则所有LoRA层被静默禁用，输出等同于未加载任何适配器。
最后验证是否生效：输入测试句"请用法律文书风格重写以下句子："，观察输出是否出现“兹证明”“特此函告”等特征词。若仍为口语化表达，说明target_modules未覆盖到实际参与生成的注意力层，需检查训练日志中trainable parameters行确认哪些模块被标记为可训练。
