在OpenAI平台上微調模型以供客戶支持

>微調大語言模型（LLMS）對於優化其在特定任務中的性能至關重要。 OpenAI為微調GPT模型提供了一個強大的框架，使組織可以根據特定領域的要求量身定制AI行為。該過程在LLM自定義中起著至關重要的作用，使模型能夠生成更準確，相關和上下文感知的響應。
>微調的LLM可以在各種情況下應用，例如財務分析，用於風險評估，針對個性化響應的客戶支持以及用於輔助診斷的醫學研究。它們還可以用於軟件開發中，用於代碼生成和調試，以及合同審查和判例法分析的法律幫助。在本指南中，我們將使用OpenAI的平台瀏覽微調過程，並評估微型模型在現實世界應用中的性能。

> 目錄的目的表

>

什麼是openai平台？預處理數據
• 步驟4：在OpenAI平台上進行微調
• gpt-4o vs finetuned gpt-4o gpt-4O性能檢查
  • 質量1
  查詢2查詢2 QUERY 2
分析
• • 經常詢問的問題
  • 什麼是OpenAi平台？
  • > OpenAI平台提供了一種基於Web的工具，該工具使您可以易於微調模型，從而使用戶將其自定義用於特定任務。它提供了準備數據，培訓模型和評估結果的分步說明。此外，該平台支持與API的無縫集成，使用戶能夠快速有效地部署微調模型。它還提供自動版本控制和模型監視，以確保模型隨著時間的推移最佳性能，並且能夠隨著新數據的可用性進行更新。
  推理成本
這是在OpenAI平台上培訓模型的成本。 >

Model	Pricing	Pricing with Batch API	Training Pricing
gpt-4o-2024-08-06	.750 / 1M input tokens.000 / 1M output tokens	.875 / 1M input tokens.500 / 1M output tokens	.000 / 1M training tokens
gpt-4o-mini-2024-07-18	.300 / 1M input tokens.200 / 1M output tokens	.150 / 1M input tokens.600 / 1M output tokens	.000 / 1M training tokens
gpt-3.5-turbo	.000 / 1M training tokens.000 / 1M output tokens	.500 / 1M input tokens.000 / 1M output tokens	.000 / 1M training tokens

有關更多信息，請訪問此頁面：https：//openai.com/api/pricing/

>在OpenAI平台上微調模型

微調模型允許用戶自定義特定用例的模型，從而提高其準確性，相關性和適應性。在本指南中，我們專注於對客戶服務互動的更個性化，準確和上下文感知的響應。

通過對實際客戶查詢和互動進行微調模型，企業可以提高響應質量，減少誤解並提高整體用戶滿意度。
>也請閱讀：鑑定大型語言模型的初學者指南（LLMS）

> >現在讓我們看看如何使用OpenAI平台訓練模型。我們將以4個步驟進行操作：

識別數據集
1. 下載dfineTuning數據
2. 導入和預處理數據
Openai平台上的微調
4. >讓我們開始！
>步驟1：識別數據集

為了微調模型，我們首先需要針對我們用例的高質量數據集。對於這個微調過程，我從擁抱面上下載了數據集，該數據集是一個流行的AI數據集和模型的平台。您可以通過訪問擁抱面部數據集找到適合微調的廣泛數據集。只需搜索相關數據集，下載並根據需要進行預處理，以確保其與您的特定要求保持一致。

>步驟2：下載finetuning的數據集

微調過程的客戶服務數據來自擁抱面部數據集。您可以從這裡訪問它。

LLMS需要以特定格式進行微調。這是GPT-4O，GPT-4O-Mini和GPT-3.5-Turbo。
現在，在下一步中，我們將檢查我們的數據的樣子，並進行必要的調整（如果不需要的格式）。
>步驟3：導入和預處理數據
現在，我們將將數據和預處理導入到所需的格式中。 > 為此，我們將遵循以下步驟：

{"messages": [{"role": "system", "content": "This is an AI assistant for answering FAQs."}, {"role": "user", "content": "What are your customer support hours?"}, {"role": "assistant", "content": "Our customer support is available	1 24/7. How else may I assist you?"}]}

1。現在，我們將在Jupyter筆記本中加載數據並將其修改以匹配所需的格式。



>在這裡我們有6個不同的列。但是我們只需要兩個 - “指令”和“響應”，因為這些是具有客戶查詢和相對響應的列。

現在，我們可以根據需要使用上述CSV文件來創建一個jsonl文件以進行微調。

>
>如上所示，我們可以通過數據框進行迭代以創建JSONL文件。 >

在這裡，我們以JSONL文件格式存儲我們的數據，該格式與JSON略有不同。

>json將數據存儲為單個文件中的層次結構（對象和數組），使其適用於帶有嵌套的結構化數據。以下是JSON文件格式的示例。

>

{"messages": [{"role": "system", "content": "This is an AI assistant for answering FAQs."}, {"role": "user", "content": "What are your customer support hours?"}, {"role": "assistant", "content": "Our customer support is available	1 24/7. How else may I assist you?"}]}

JSONL 由多個JSON對象組成，每個對像都在單獨的線上，沒有數組或嵌套結構。這種格式更有效地用於流，處理大數據集和按行處理數據集。 BELOW是JSONL文件格式。

步驟4：OpenAI平台上的微調

import pandas as pd
splits = {'train': 'data/train-00000-of-00001.parquet', 'test': 'data/test-00000-of-00001.parquet'}
df_train = pd.read_parquet("hf://datasets/charles828/vertex-ai-customer-support-training-dataset/" + splits["train"])

現在，我們將使用此“ query_dataset”來微調GPT-4O LLM。為此，請按照以下步驟進行操作。

1。如果您尚未簽名，請訪問此網站並登錄。登錄後，單擊“了解更多”以了解有關微調過程的更多信息。

>

2。單擊“創建”，將彈出一個小窗口。



這是上圖中的超參數的崩潰：>

>

批量尺寸：這是指在更新模型的權重之前，在一個通過（或步驟）中使用的培訓示例（數據點）的數量。該模型不是一次處理所有數據，而是一次處理小塊（批次）。較小的批量尺寸將需要更多的時間，但可能會創建更好的模型。您必須在這裡找到適當的平衡。較大的可能更穩定，但更快。

>

學習率乘數：這是一個因素，它可以調整每個更新後模型的權重變化。如果設置高，該模型可能會更快地學習，但可以超越最佳解決方案。如果很低，模型將學習得更慢，但可能更精確。

>時代的數量：“時代”是整個訓練數據集的完整傳球。時代的數量告訴您該模型將從整個數據集中學習多少次。更多的時期通常可以使模型學習得更好，但是太多的時代可以導致過度擬合。 >

3。選擇該方法作為“監督”和您選擇的“基本模型”。我選擇了gpt-4o。

4。上傳培訓數據的JSON文件。

5。添加與要微調模型的任務相關的“後綴”。

6。選擇超參數或將它們留在默認值中。

>

7。現在單擊“創建”，微調開始。 >

8。微調完成後，它將顯示如下：

9。現在，我們可以通過單擊右下角的“遊樂場”來比較細調模型與已存在的模型。

>

重要說明：

>微調持續時間和成本取決於數據集的大小和模型複雜性。一個較小的數據集，例如100個樣本，成本要少得多，但可能無法充分微調模型，而較大的數據集則需要更多的時間和金錢資源。就我而言，數據集的樣本約為24K，因此微調大約需要7到8個小時，大約花費了700美元。

>小心

給定成本高，建議從較小的數據集開始，以便在擴展之前進行初始測試。確保數據集結構良好，相關可以幫助優化性能和成本效率。

> gpt-4O vs Fineted GPT-4O性能檢查

>現在我們已經對模型進行了微調，我們將其性能與基本GPT-4O進行比較，並分析兩個模型的響應，以查看準確性，清晰度，理解和相關性的改善。這將有助於我們確定微型模型是否滿足我們的特定需求，並在預期的任務中表現更好。簡而

>查詢1

查詢：

“幫助我提交新的送貨地址” 通過FINETUNED GPT-4O模型的響應：

>

GPT-4O：

>

比較分析 與標準的GPT-4O相比，微型模型

提供了更詳細和以用戶為中心的響應。儘管GPT-4O提供了一個功能逐步指南，但微調模型通過明確區分添加和編輯地址來增強清晰度。它對用戶更具吸引力和令人放心，並提供積極的幫助。這表明了微調模型與客戶服務最佳實踐保持一致的卓越能力。因此，微調模型是需要用戶友好，結構化和支持性響應的任務的更強大選擇。

>

查詢2

查詢：

“我需要幫助才能更改為帳戶類別帳戶” 通過FINETUNED GPT-4O模型的響應：>

GPT-4O：>



比較分析

與基本模型相比，微調模型

顯著增強了用戶的參與度和清晰度。雖然GPT-4O提供了結構化但通用的響應，但微調版本採用了更具對話和支持性的語氣，使互動感覺更自然。

>

>查詢3

QUERY：>“我不知道如何更新我的個人信息”

通過FINETUNED GPT-4O模型的響應：

>

GPT-4O：

>

比較分析

通過提供更精確和結構化的響應，微調模型優於標準GPT-4O。雖然GPT-4O提供了功能答案，但微調模型通過以更連貫的方式明確解決關鍵區別並提供信息來提高清晰度。此外，它可以更好地適應上下文，確保更相關和更精緻的響應。

總體比較分析

結論

在這種情況下，對模型進行微調以更好地響應客戶查詢其有效性。它使互動感覺更加個人化，友好和支持，從而帶來更強的聯繫和更高的用戶滿意度。儘管基本模型提供了清晰準確的信息，但它們會感覺到機器人和吸引力較小。通過OpenAI方便的Web平台對模型進行微調是為域特定任務構建自定義大語模型的一種好方法。

常見問題
> Q1。 AI模型中的微調是什麼？微調是調整預先訓練的AI模型來執行特定任務或通過在較小的特定任務數據集上訓練特定行為的過程。這使模型可以更好地理解任務的細微差別並產生更準確或更量身定制的結果。微調如何改善AI模型的性能？  微調通過教導模型的性能來增強模型的性能，以更好地處理任務的特定要求，例如在客戶互動中增加同理心。它有助於該模型提供更個性化的，上下文感知的響應，從而使互動感覺更像人性化和引人入勝。微調模型使用更昂貴嗎？微調模型可能需要其他資源和培訓，這可能會增加成本。但是，更有效，用戶友好的模型的好處通常超過初始投資，尤其是對於涉及客戶互動或解決問題的任務。我可以自己微調一個模型嗎？是的，如果您擁有必要的數據和技術專長，則可以使用Hugging Face，OpenAI或其他其他機器學習框架微調模型。但是，通常需要對AI，數據準備和培訓過程有深入的了解。微調模型需要多長時間？微調一個模型所需的時間取決於數據集的大小，任務的複雜性以及可用的計算資源。對於具有龐大數據集的較大型號，它可能需要幾個小時到幾天或更長時間。

以上是在OpenAI平台上微調模型以供客戶支持的詳細內容。更多資訊請關注PHP中文網其他相關文章！