微调骆驼3.1用于文本分类

>本教程展示了精神健康情感分析的Llama 3.1-8B-IT模型。 我们将自定义模型以预测文本数据中的患者心理健康状况，将适配器与基本模型合并，并在拥抱面枢纽中部署完整的模型。 至关重要的是，请记住，在医疗保健中使用AI时，道德考虑是至关重要的。此示例仅用于说明目的。 >我们将使用Kaggle，使用Transformers库进行推理以及微调过程本身来介绍访问Llama 3.1型号。 先前对LLM微调的理解（请参阅我们的“微调LLMS介绍性指南”）是有益的。

>由作者

图像

理解Llama 3.1 Meta AI的多语言大语言模型（LLM）

Llama 3.1在语言理解和发电方面表现出色。 它提供8B，70B和405B参数版本，它建立在具有优化变压器的自动回归体系结构上。 经过多种公共数据的培训，它支持八种语言，并拥有128K上下文长度。 它的商业许可证很容易获得，并且在各种基准测试中都优于几个竞争对手。

来源：Llama 3.1（Meta.com）

>

>在kaggle上访问和使用Llama 3.1

我们将利用Kaggle的免费GPU/TPU。 请按照以下步骤：

>在meta.com上注册（使用您的kaggle电子邮件）。

> >访问Llama 3.1 Kaggle存储库和请求模型访问。> >使用提供的“代码”按钮启动Kaggle笔记本。

选择您的首选型号版本，然后将其添加到笔记本上。

安装必要的软件包（

）。

1. 加载模型和令牌：
创建提示并运行推断：
5. %pip install -U transformers accelerate
6. 精神健康分类

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
import torch

base_model = "/kaggle/input/llama-3.1/transformers/8b-instruct/1"

tokenizer = AutoTokenizer.from_pretrained(base_model)
model = AutoModelForCausalLM.from_pretrained(base_model, return_dict=True, low_cpu_mem_usage=True, torch_dtype=torch.float16, device_map="auto", trust_remote_code=True)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, torch_dtype=torch.float16, device_map="auto")

messages = [{"role": "user", "content": "What is the tallest building in the world?"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=120, do_sample=True)
print(outputs[0]["generated_text"])

>设置：

>使用Llama 3.1启动新的Kaggle笔记本，安装必需的软件包（，

，

，，，

，

），并添加“心理健康的情感分析”数据集。配置权重和偏见（使用您的API键）。

2. 数据处理：加载数据集，清洁它（删除模棱两可的类别：“自杀”，“压力”，“人格障碍”），洗牌并分成培训，评估和测试集（使用3000个样本提高效率）。 创建提示并入语句和标签。

   >

3. 模型加载：使用4位量化的记忆效率，加载Llama-3.1-8b-Insruct模型。加载令牌器并设置垫子令牌ID。

4. >>预先调整评估：创建功能以预测标签和评估模型性能（准确性，分类报告，混淆矩阵）。 在微调之前评估模型的基线性能。

5. 微调：使用适当的参数配置lora。设置培训论点（根据您的环境根据需要进行调整）。使用SFTTrainer训练模型。使用权重和偏见监控进度。

6. > 在调查后评估：

   在微调后重新评估模型的性能。

7. 合并并保存：PeftModel.from_pretrained()在新的kaggle笔记本中，使用model.merge_and_unload()和

   将微调适配器与基本模型合并。测试合并模型。保存并将最终型号和令牌推到拥抱的脸部集线器上。
>

/kaggle/input/...记住将占位符（如

）替换为您的实际文件路径。 完整的代码和详细说明可在原始响应中提供。 该凝结版本提供了高级概述和密钥代码片段。 在使用敏感数据时，始终优先考虑道德考虑。

以上是微调骆驼3.1用于文本分类的详细内容。更多信息请关注PHP中文网其他相关文章！