微调美洲驼3.2并在本地使用：逐步指南

解锁骆驼的力量3.2：综合指南和本地部署

大语模型（LLM）的景观正在迅速发展，重点是较小，更有效的模型。 Llama 3.2凭借其轻巧和视力模型的变化体现了这一趋势。本教程详细介绍了如何利用Llama 3.2的功能，特别是3B轻型模型，用于在客户支持数据集上进行微调以及使用JAN应用程序进行的本地部署。 在潜水之前，强烈鼓励初学者完成AI基础知识课程，以掌握LLM和生成AI的基础。

>作者的图像

探索骆驼3.2型号

Llama 3.2提供了两个模型系列：轻量级和视野。轻巧的模型在多语言文本生成和工具使用方面表现出色，非常适合资源受限环境。另一方面，视觉模型专门研究图像推理和多模式任务。

轻量级模型

轻巧的家族包括1B和3B参数变体。 它们的紧凑型尺寸允许进行设备处理，确保数据隐私和快速，成本效益的文本生成。 这些模型利用修剪和知识蒸馏来提高效率和性能。 3B模型超过了诸如Gemma 2和Phi 3.5-Mini之类的竞争对手，例如诸如教学和摘要之类的任务。

>

来源：Llama 3.2：用开放的，可自定义的模型革命性的边缘AI和视觉

视觉模型

视觉模型（11b和90b参数）是为图像推理而设计的，能够解释文档和图表。 它们的多模式能力源于将预训练的图像编码与语言模型集成在一起。 在视觉理解任务中，他们的表现优于克劳德3 haiku和gpt-4o mini。

来源：Llama 3.2：用开放的，可自定义的模型革命性的边缘AI和视觉

以深入了解Llama 3.2的架构，基准和安全功能（Llama Guard 3），请参阅《官方Llama 3.2指南》。

>在Kaggle上访问Llama 3.2

虽然Llama 3.2是开源的，但访问需要接受条款和条件。 这是通过kaggle访问它的方法：

1. >请访问llama.com，填写访问表格，选择轻量级和视觉模型。
>导航到元| Llama 3.2型号页面上的型号并提交表格。
接受条款和条件。
等待笔记本创建选项。 选择“变形金刚”选项卡，选择您的模型变体，然后创建一个新的笔记本。
4. 将加速器配置为“ gpu t4 x2”。
>
5. >使用
。
6. transformers随后的步骤涉及使用accelerate库库加载令牌和模型，指定本地模型目录，设置%pip install -U transformers accelerate，创建文本生成管道以及使用自定义提示的运行推断。 随附的Kaggle笔记本中提供了详细的代码示例。 类似的步骤适用于访问Llama 3.2视觉模型，尽管GPU要求明显更高。
>微调美洲驼3.2 3b指示

>本节通过微调Llama 3.2 3B指示模型在客户支持数据集上使用transformers library和Qlora进行有效培训。

>设置

1. 启动一个新的Kaggle笔记本和设置环境变量，用于拥抱面部和重量和偏见（WANDB）访问。
2. 安装必要的软件包：transformers，datasets，accelerate，peft，trl，bitsandbytes，wandb和
。
3. >使用您的API键登录以拥抱脸和魔杖。
>
4. >定义基本模型，新模型名称和数据集名称的变量。

加载模型和令牌

根据您的GPU功能确定适当的
1. >>>>。 torch_dtype>使用attn_implementation进行4位量化的模型以最大程度地减少内存使用情况。
>
2. 加载令牌。BitsAndBytesConfig
3. 加载和处理数据集

>加载

。

1. 洗牌并选择数据的子集（例如，1000个样本以进行更快的培训）。bitext/Bitext-customer-support-llm-chatbot-training-dataset
>通过将系统指令，用户查询和助手响应组合到聊天格式中，创建一个“文本”列。
设置模型
3. apply_chat_template
>使用辅助函数识别所有线性模块名称。

使用

对lora进行配置。
>设置
2. ，并使用适当的超参数来进行高效培训。LoraConfig
创建一个
3. 实例，提供模型，数据集，洛拉配置，培训参数和令牌。TrainingArguments>
4. 模型培训SFTTrainer
使用

训练模型。 使用WANDB进行监视培训和验证损失。

模型推理

trainer.train()>测试使用数据集中的示例提示的微调模型。

>

保存模型

>在本地保存微调模型，然后将其推到拥抱的脸上轮毂。

合并和导出微调模型

>本节详细介绍了将微调的洛拉适配器与基本型号合并，并将其导出到拥抱的面轮。 它涉及加载基本模型和洛拉适配器，使用

>和

合并它们，然后保存并将合并模型推到集线器。

>转换为gguf和本地部署

最后，教程将使用GGGUF我的回购工具在拥抱脸部和使用JAN应用程序本地部署它时将合并模型转换为GGGUF格式。 这涉及下载GGUF文件，将其导入JAN，并设置系统提示并停止令牌以获得最佳性能。>

结论

微调较小的LLMS为定制特定任务的模型提供了一种经济高效且有效的方法。 本教程提供了一个实用指南，以利用Llama 3.2的功能，从访问和微调到本地部署，使用户能够构建和部署自定义AI解决方案。 切记查阅随附的Kaggle笔记本以获取详细的代码示例。

以上是微调美洲驼3.2并在本地使用：逐步指南的详细内容。更多信息请关注PHP中文网其他相关文章！