在OpenAI平台上微调模型以供客户支持

>微调大语言模型（LLMS）对于优化其在特定任务中的性能至关重要。 OpenAI为微调GPT模型提供了一个强大的框架，使组织可以根据特定领域的要求量身定制AI行为。该过程在LLM自定义中起着至关重要的作用，使模型能够生成更准确，相关和上下文感知的响应。
>微调的LLM可以在各种情况下应用，例如财务分析，用于风险评估，针对个性化响应的客户支持以及用于辅助诊断的医学研究。它们还可以用于软件开发中，用于代码生成和调试，以及合同审查和判例法分析的法律帮助。在本指南中，我们将使用OpenAI的平台浏览微调过程，并评估微型模型在现实世界应用中的性能。

> 目录的目的表

>

什么是openai平台？预处理数据
• 步骤4：在OpenAI平台上进行微调
• gpt-4o vs finetuned gpt-4o gpt-4O性能检查
  • 质量1
  查询2查询2 QUERY 2
分析
• • 经常询问的问题
  • 什么是OpenAi平台？
  • > OpenAI平台提供了一种基于Web的工具，该工具使您可以易于微调模型，从而使用户将其自定义用于特定任务。它提供了准备数据，培训模型和评估结果的分步说明。此外，该平台支持与API的无缝集成，使用户能够快速有效地部署微调模型。它还提供自动版本控制和模型监视，以确保模型随着时间的推移最佳性能，并且能够随着新数据的可用性进行更新。
  推理成本
这是在OpenAI平台上培训模型的成本。>

Model	Pricing	Pricing with Batch API	Training Pricing
gpt-4o-2024-08-06	.750 / 1M input tokens.000 / 1M output tokens	.875 / 1M input tokens.500 / 1M output tokens	.000 / 1M training tokens
gpt-4o-mini-2024-07-18	.300 / 1M input tokens.200 / 1M output tokens	.150 / 1M input tokens.600 / 1M output tokens	.000 / 1M training tokens
gpt-3.5-turbo	.000 / 1M training tokens.000 / 1M output tokens	.500 / 1M input tokens.000 / 1M output tokens	.000 / 1M training tokens

有关更多信息，请访问此页面：https：//openai.com/api/pricing/

>在OpenAI平台上微调模型

微调模型允许用户自定义特定用例的模型，从而提高其准确性，相关性和适应性。在本指南中，我们专注于对客户服务互动的更个性化，准确和上下文感知的响应。

通过对实际客户查询和互动进行微调模型，企业可以提高响应质量，减少误解并提高整体用户满意度。
>也请阅读：鉴定大型语言模型的初学者指南（LLMS）

> >现在让我们看看如何使用OpenAI平台训练模型。我们将以4个步骤进行操作：

识别数据集
1. 下载dfineTuning数据
2. 导入和预处理数据
Openai平台上的微调
4. >让我们开始！
>步骤1：识别数据集

为了微调模型，我们首先需要针对我们用例的高质量数据集。对于这个微调过程，我从拥抱面上下载了数据集，该数据集是一个流行的AI数据集和模型的平台。您可以通过访问拥抱面部数据集找到适合微调的广泛数据集。只需搜索相关数据集，下载并根据需要进行预处理，以确保其与您的特定要求保持一致。

>步骤2：下载finetuning的数据集

微调过程的客户服务数据来自拥抱面部数据集。您可以从这里访问它。

LLMS需要以特定格式进行微调。这是GPT-4O，GPT-4O-Mini和GPT-3.5-Turbo。
现在，在下一步中，我们将检查我们的数据的样子，并进行必要的调整（如果不需要的格式）。
>步骤3：导入和预处理数据
现在，我们将将数据和预处理导入到所需的格式中。> 为此，我们将遵循以下步骤：

{"messages": [{"role": "system", "content": "This is an AI assistant for answering FAQs."}, {"role": "user", "content": "What are your customer support hours?"}, {"role": "assistant", "content": "Our customer support is available	1 24/7. How else may I assist you?"}]}

1。现在，我们将在Jupyter笔记本中加载数据并将其修改以匹配所需的格式。



>在这里我们有6个不同的列。但是我们只需要两个 - “指令”和“响应”，因为这些是具有客户查询和相对响应的列。

现在，我们可以根据需要使用上述CSV文件来创建一个jsonl文件以进行微调。

>
>如上所示，我们可以通过数据框进行迭代以创建JSONL文件。>

在这里，我们以JSONL文件格式存储我们的数据，该格式与JSON略有不同。

>json将数据存储为单个文件中的层次结构（对象和数组），使其适用于带有嵌套的结构化数据。以下是JSON文件格式的示例。

>

{"messages": [{"role": "system", "content": "This is an AI assistant for answering FAQs."}, {"role": "user", "content": "What are your customer support hours?"}, {"role": "assistant", "content": "Our customer support is available	1 24/7. How else may I assist you?"}]}

JSONL 由多个JSON对象组成，每个对象都在单独的线上，没有数组或嵌套结构。这种格式更有效地用于流，处理大数据集和按行处理数据集。BELOW是JSONL文件格式。

步骤4：OpenAI平台上的微调

import pandas as pd
splits = {'train': 'data/train-00000-of-00001.parquet', 'test': 'data/test-00000-of-00001.parquet'}
df_train = pd.read_parquet("hf://datasets/charles828/vertex-ai-customer-support-training-dataset/" + splits["train"])

现在，我们将使用此“ query_dataset”来微调GPT-4O LLM。为此，请按照以下步骤进行操作。

1。如果您尚未签名，请访问此网站并登录。登录后，单击“了解更多”以了解有关微调过程的更多信息。

>

2。单击“创建”，将弹出一个小窗口。



这是上图中的超参数的崩溃：>

>

批量尺寸：这是指在更新模型的权重之前，在一个通过（或步骤）中使用的培训示例（数据点）的数量。该模型不是一次处理所有数据，而是一次处理小块（批次）。较小的批量尺寸将需要更多的时间，但可能会创建更好的模型。您必须在这里找到适当的平衡。较大的可能更稳定，但更快。

>

学习率乘数：这是一个因素，它可以调整每个更新后模型的权重变化。如果设置高，该模型可能会更快地学习，但可以超越最佳解决方案。如果很低，模型将学习得更慢，但可能更精确。

>时代的数量：“时代”是整个训练数据集的完整传球。时代的数量告诉您该模型将从整个数据集中学习多少次。更多的时期通常可以使模型学习得更好，但是太多的时代可以导致过度拟合。>

3。选择该方法作为“监督”和您选择的“基本模型”。我选择了gpt-4o。

4。上传培训数据的JSON文件。

5。添加与要微调模型的任务相关的“后缀”。

6。选择超参数或将它们留在默认值中。

>

7。现在单击“创建”，微调开始。>

8。微调完成后，它将显示如下：

9。现在，我们可以通过单击右下角的“游乐场”来比较细调模型与已存在的模型。

>

重要说明：

>微调持续时间和成本取决于数据集的大小和模型复杂性。一个较小的数据集，例如100个样本，成本要少得多，但可能无法充分微调模型，而较大的数据集则需要更多的时间和金钱资源。就我而言，数据集的样本约为24K，因此微调大约需要7到8个小时，大约花费了700美元。

>小心

给定成本高，建议从较小的数据集开始，以便在扩展之前进行初始测试。确保数据集结构良好，相关可以帮助优化性能和成本效率。

> gpt-4O vs Fineted GPT-4O性能检查

>现在我们已经对模型进行了微调，我们将其性能与基本GPT-4O进行比较，并分析两个模型的响应，以查看准确性，清晰度，理解和相关性的改善。这将有助于我们确定微型模型是否满足我们的特定需求，并在预期的任务中表现更好。简而

>查询1

查询：

“帮助我提交新的送货地址” 通过FINETUNED GPT-4O模型的响应：

>

GPT-4O：

>

比较分析 与标准的GPT-4O相比，微型模型

提供了更详细和以用户为中心的响应。尽管GPT-4O提供了一个功能逐步指南，但微调模型通过明确区分添加和编辑地址来增强清晰度。它对用户更具吸引力和令人放心，并提供积极的帮助。这表明了微调模型与客户服务最佳实践保持一致的卓越能力。因此，微调模型是需要用户友好，结构化和支持性响应的任务的更强大选择。

>

查询2

查询：

“我需要帮助才能更改为帐户类别帐户” 通过FINETUNED GPT-4O模型的响应：>

GPT-4O：>



比较分析

与基本模型相比，微调模型

显着增强了用户的参与度和清晰度。虽然GPT-4O提供了结构化但通用的响应，但微调版本采用了更具对话和支持性的语气，使互动感觉更自然。

>

>查询3

QUERY：>“我不知道如何更新我的个人信息”

通过FINETUNED GPT-4O模型的响应：

>

GPT-4O：

>

比较分析

通过提供更精确和结构化的响应，微调模型优于标准GPT-4O。虽然GPT-4O提供了功能答案，但微调模型通过以更连贯的方式明确解决关键区别并提供信息来提高清晰度。此外，它可以更好地适应上下文，确保更相关和更精致的响应。

总体比较分析

结论

在这种情况下，对模型进行微调以更好地响应客户查询其有效性。它使互动感觉更加个人化，友好和支持，从而带来更强的联系和更高的用户满意度。尽管基本模型提供了清晰准确的信息，但它们会感觉到机器人和吸引力较小。通过OpenAI方便的Web平台对模型进行微调是为域特定任务构建自定义大语模型的一种好方法。

常见问题
> Q1。 AI模型中的微调是什么？微调是调整预先训练的AI模型来执行特定任务或通过在较小的特定任务数据集上训练特定行为的过程。这使模型可以更好地理解任务的细微差别并产生更准确或更量身定制的结果。微调如何改善AI模型的性能？  微调通过教导模型的性能来增强模型的性能，以更好地处理任务的特定要求，例如在客户互动中增加同理心。它有助于该模型提供更个性化的，上下文感知的响应，从而使互动感觉更像人性化和引人入胜。微调模型使用更昂贵吗？微调模型可能需要其他资源和培训，这可能会增加成本。但是，更有效，用户友好的模型的好处通常超过初始投资，尤其是对于涉及客户互动或解决问题的任务。我可以自己微调一个模型吗？是的，如果您拥有必要的数据和技术专长，则可以使用Hugging Face，OpenAI或其他其他机器学习框架微调模型。但是，通常需要对AI，数据准备和培训过程有深入的了解。微调模型需要多长时间？微调一个模型所需的时间取决于数据集的大小，任务的复杂性以及可用的计算资源。对于具有庞大数据集的较大型号，它可能需要几个小时到几天或更长时间。

以上是在OpenAI平台上微调模型以供客户支持的详细内容。更多信息请关注PHP中文网其他相关文章！