Feinabstimmung eines Modells auf der OpenAI-Plattform für den Kundensupport

Feinabstimmungsmodelle (LLMs) sind für die Optimierung ihrer Leistung in bestimmten Aufgaben von wesentlicher Bedeutung. OpenAI bietet einen robusten Rahmen für Feinabstimmung GPT-Modelle, mit dem Unternehmen das Verhalten von AI anhand der domänenspezifischen Anforderungen an die Annäherung an domänenspezifische Anforderungen anpassen können. Dieser Prozess spielt eine entscheidende Rolle bei der LLM-Anpassung und ermöglicht es, Modelle genauere, relevantere und kontextbezogene Antworten zu generieren. Sie können auch in der Softwareentwicklung für die Erzeugung und das Debuggen von Code sowie für die Rechtshilfe für die Überprüfung der Vertragsrechnung und die Analyse der Rechtsprechung verwendet werden. In diesem Leitfaden werden wir mithilfe der OpenAI-Plattform den Feinabstimmungsprozess durchlaufen und die Leistung des Feinabstimmungsmodells in realen Anwendungen bewerten.

Inhaltsverzeichnis

Was ist OpenAI -Plattform? Vorbereitung der Daten
• Schritt 4: Feinabstimmung auf der OpenAI-Plattform
GPT-4O vs finatuned GPT-4O-Leistungsprüfung
• Abfrage 1
  Abfrage 2
  query 3
  Insgesamt Vergleiche 2
  • Analyse
• Häufig gestellte Fragen
  Was ist OpenAI -Plattform?
  Die OpenAI-Plattform bietet ein webbasiertes Tool, mit dem die Feinabstimmung von Modellen einfach eingestuft werden kann, sodass Benutzer sie für bestimmte Aufgaben anpassen können. Es enthält schrittweise Anweisungen zur Vorbereitung von Daten, Trainingsmodellen und zur Bewertung der Ergebnisse. Darüber hinaus unterstützt die Plattform eine nahtlose Integration in APIs, sodass Benutzer fein abgestimmte Modelle schnell und effizient bereitstellen können. Es bietet auch eine automatische Versioning- und Modellüberwachung, um sicherzustellen, dass Modelle im Laufe der Zeit optimal funktionieren, um sie zu aktualisieren, wenn neue Daten verfügbar sind.
  Kosten für Inferenz
  Hier ist, wie viel es kostet, Modelle auf der OpenAI -Plattform zu trainieren.

  Model	Pricing	Pricing with Batch API	Training Pricing
  gpt-4o-2024-08-06	.750 / 1M input tokens.000 / 1M output tokens	.875 / 1M input tokens.500 / 1M output tokens	.000 / 1M training tokens
  gpt-4o-mini-2024-07-18	.300 / 1M input tokens.200 / 1M output tokens	.150 / 1M input tokens.600 / 1M output tokens	.000 / 1M training tokens
  gpt-3.5-turbo	.000 / 1M training tokens.000 / 1M output tokens	.500 / 1M input tokens.000 / 1M output tokens	.000 / 1M training tokens

  Weitere Informationen finden Sie auf dieser Seite: https://openai.com/api/pricing/

  Feinabstimmung eines Modells auf der OpenAI -Plattform

  Mit

  Einstimmung mit einem Modell können Benutzer Modelle für bestimmte Anwendungsfälle anpassen und ihre Genauigkeit, Relevanz und Anpassungsfähigkeit verbessern. In diesem Leitfaden konzentrieren wir uns auf personalisiertere, genauere und kontextbezogene Antworten auf den Kundendienstinteraktionen.

  Durch Feinabstimmung eines Modells über echte Kundenfragen und -interaktionen können die Unternehmen die Reaktionsqualität verbessern, Missverständnisse reduzieren und die allgemeine Benutzerzufriedenheit verbessern.

  Lesen Sie auch: Anfängerleitfaden zur Finetuning Großsprachenmodelle (LLMs)

  Lassen Sie uns nun sehen, wie wir ein Modell mit der OpenAI -Plattform trainieren können. Wir werden dies in 4 Schritten tun:

  1. Identifizieren des Datensatzes
  2. Herunterladen der Dfinetuning -Daten
  3. Importieren und Vorverarbeitung der Daten
  4. Feinabstimmung auf der OpenAI-Plattform

  Beginnen wir!

  Schritt 1: Identifizierung des Datensatzes

  Um das Modell zu optimieren, benötigen wir zunächst einen hochwertigen Datensatz, der auf unseren Anwendungsfall zugeschnitten ist. Für diesen Feinabstimmungsprozess habe ich den Datensatz von Sugging Face, einer beliebten Plattform für KI -Datensätze und -modelle, heruntergeladen. Sie finden eine breite Palette von Datensätzen, die für die Feinabstimmung geeignet sind, indem Sie umarmende Gesichtsdatensätze besuchen. Suchen Sie einfach nach einem relevanten Datensatz, laden Sie ihn herunter und werden nach Bedarf vorverarbeitet, um sicherzustellen, dass sie mit Ihren spezifischen Anforderungen übereinstimmen.

  Schritt 2: Herunterladen des Datensatzes für die Finetuning

  Die Kundendienstdaten für den Feinabstimmungsprozess stammen aus dem Umarmungsdatensätzen. Sie können hier von hier aus zugreifen.

  llms benötigen Daten, um eine bestimmte Einstellung in einem bestimmten Format zu finden. Hier ist ein Beispielformat für GPT-4O, GPT-4O-Mini und GPT-3,5-Turbo.

  {"messages": [{"role": "system", "content": "This is an AI assistant for answering FAQs."}, {"role": "user", "content": "What are your customer support hours?"}, {"role": "assistant", "content": "Our customer support is available	1 24/7. How else may I assist you?"}]}

  Jetzt werden wir im nächsten Schritt überprüfen, wie unsere Daten aussehen, und die erforderlichen Anpassungen vornehmen, wenn sie sich nicht in der erforderlichen Form befinden.

  

  Schritt 3: Importieren und Vorverarbeitung der Daten

  Jetzt werden wir die Daten und die Vorverarbeitung in das erforderliche Format importieren.

  , um dies zu tun, werden wir folgende Schritte befolgen:

  1. Jetzt laden wir die Daten im Jupyter -Notizbuch und ändern sie so dem erforderlichen Format.

  import pandas as pd
  splits = {'train': 'data/train-00000-of-00001.parquet', 'test': 'data/test-00000-of-00001.parquet'}
  df_train = pd.read_parquet("hf://datasets/charles828/vertex-ai-customer-support-training-dataset/" + splits["train"])

  

  Hier haben wir 6 verschiedene Spalten. Wir brauchen jedoch nur zwei - „Anweisungen“ und „Antwort“, da dies die Spalten sind, die Kundenfragen und die relativen Antworten enthält.

  Jetzt können wir die obige CSV-Datei verwenden, um eine JSONL-Datei nach Bedarf für die Feinabstimmung zu erstellen.

  import json
  messages = pd.read_csv("training_data")
  with open("query_dataset.jsonl", "w", encoding='utf-8') as jsonl_file:
     for _, row in messages.iterrows():
         user_content = row['instruction']
         assintant_content = row['response']      
         jsonl_entry = {
             "messages":[
                 {"role": "system", "content": "You are an assistant who writes in a clear, informative, and engaging style."},
                 {"role": "user", "content": user_content},
                 {"role": "assistant", "content": assintant_content}
             ]
         }    
         jsonl_file.write(json.dumps(jsonl_entry) + '\n')

  Wie oben gezeigt, können wir den Datenrahmen durchführen, um die JSONL -Datei zu erstellen.

  Hier speichern wir unsere Daten in einem JSONL -Dateiformat, das sich geringfügig von JSON unterscheidet.

  json speichert Daten als hierarchische Struktur (Objekte und Arrays) in einer einzelnen Datei, wodurch sie für strukturierte Daten mit Verschachtelung geeignet sind. Unten finden Sie ein Beispiel für das JSON -Dateiformat.

  {"messages": [{"role": "system", "content": "This is an AI assistant for answering FAQs."}, {"role": "user", "content": "What are your customer support hours?"}, {"role": "assistant", "content": "Our customer support is available	1 24/7. How else may I assist you?"}]}

  JSONL besteht aus mehreren JSON -Objekten, die jeweils auf einer separaten Zeile ohne Arrays oder verschachtelte Strukturen sind. Dieses Format ist effizienter für das Streaming, die Verarbeitung großer Datensätze und die Handhabung von Datenzeilen nach Line.Below ist ein Beispiel für das JSONL -Dateiformat .

  Schritt 4: Feinabstimmung auf der OpenAI-Plattform

  import pandas as pd
  splits = {'train': 'data/train-00000-of-00001.parquet', 'test': 'data/test-00000-of-00001.parquet'}
  df_train = pd.read_parquet("hf://datasets/charles828/vertex-ai-customer-support-training-dataset/" + splits["train"])

  Jetzt werden wir dieses "query_dataset" verwenden, um das GPT-4O LLM zu optimieren. Befolgen Sie dazu die folgenden Schritte.

  1. Gehen Sie zu dieser Website und melden Sie sich an, wenn Sie sich noch nicht angemeldet haben. Wenn Sie sich angemeldet haben, klicken Sie auf „More“, um mehr über den Feinabstimmungsvorgang zu erfahren.

  2. Klicken Sie auf "Erstellen" und ein kleines Fenster wird angezeigt.

  

  Hier ist eine Aufschlüsselung der Hyperparameter im obigen Bild:

  Stapelgröße:

  Dies bezieht sich auf die Anzahl der Schulungsbeispiele (Datenpunkte), die in einem Pass (oder Schritt) verwendet werden, bevor die Gewichte des Modells aktualisiert werden. Anstatt alle Daten gleichzeitig zu verarbeiten, verarbeitet das Modell gleichzeitig kleine Stücke (Chargen). Eine kleinere Chargengröße dauert mehr Zeit, kann aber bessere Modelle erzeugen. Hier müssen Sie das richtige Gleichgewicht finden. Während ein größerer stabiler, aber viel schneller sein mag.

  Multiplikator für Lernrate:

  Dies ist ein Faktor, der anpasst, wie stark sich die Gewichte des Modells nach jedem Update ändern. Wenn es hoch ist, könnte das Modell schneller lernen, aber die beste Lösung überschreiten. Wenn es niedrig ist, wird das Modell langsamer lernen, aber genauer sein.

  Anzahl der Epochen:

  Eine „Epoche“ ist ein vollständiger Durchgang im gesamten Trainingsdatensatz. Die Anzahl der Epochen zeigt, wie oft das Modell aus dem gesamten Datensatz lernt. Mehr Epochen ermöglichen das Modell normalerweise, besser zu lernen, aber zu viele können zu Überanpassungen führen. 3. Wählen Sie die Methode als "beaufsichtigt" und das "Basismodell" Ihrer Wahl aus. Ich habe GPT-4O ausgewählt.

  4. Laden Sie die JSON -Datei für die Trainingsdaten hoch.

  5. Fügen Sie ein "Suffix" hinzu, das für die Aufgabe relevant ist, bei der Sie das Modell fein abstellen möchten.

  6. Wählen Sie die Hyperparameter oder überlassen Sie sie den Standardwerten.

  7. Klicken Sie nun auf "Erstellen" und die Feinabstimmung beginnt.

  8. Sobald die Feinabstimmung abgeschlossen ist, wird er wie folgt angezeigt:

  9. Jetzt können wir das feinstimmige Modell mit dem bereits bestehenden Modell vergleichen, indem wir in der unteren rechten Ecke auf den Spielplatz klicken.

  Wichtiger Hinweis:

  Dauer und Kosten für Feinabstimmungen hängen von der Datensatzgröße und der Modellkomplexität ab. Ein kleinerer Datensatz, wie 100 Proben, kostet erheblich weniger, kann das Modell möglicherweise nicht ausreichend einstellen, während größere Datensätze sowohl Zeit als auch Geld mehr Ressourcen benötigen. In meinem Fall hatte der Datensatz ungefähr 24.000 Proben, sodass die Feinabstimmung ungefähr 7 bis 8 Stunden dauerte und ungefähr 700 US-Dollar kostete.

  Vorsicht

  Angesichts der hohen Kosten wird empfohlen, mit einem kleineren Datensatz für Ersttests vor dem Skalieren zu beginnen. Sicherstellen, dass der Datensatz gut strukturiert und relevant ist, kann dazu beitragen, sowohl die Leistung als auch die Kosteneffizienz zu optimieren.

  GPT-4O gegen finetuned GPT-4O-Leistungsprüfung

  Jetzt, da wir das Modell fein abgestimmt haben, werden wir seine Leistung mit dem Basis-GPT-4O vergleichen und Antworten aus beiden Modellen analysieren, um festzustellen, ob sich die Genauigkeit, Klarheit, Verständnis und Relevanz verbessert. Dies hilft uns, festzustellen, ob das fein abgestimmte Modell unsere spezifischen Anforderungen entspricht und in den beabsichtigten Aufgaben besser abschneidet. Für die Kürze zeige ich Ihnen Beispielergebnisse von 3 Eingabeaufforderungen bilden sowohl das feinstürfende als auch das Standard-GPT-4O-Modell.

  Abfrage 1

  Abfrage: „Helfen Sie mir, die neue Lieferadresse einzureichen“

  Antwort durch finatuned GPT-4O-Modell:

  

  Antwort von GPT-4O:

  

  Vergleichende Analyse

  Das fein abgestimmte Modell liefert im Vergleich zum Standard-GPT-4O eine detailliertere und benutzerzentriertere Antwort. Während GPT-4O eine funktionale Schritt-für-Schritt-Anleitung bietet, verbessert das fein abgestimmte Modell die Klarheit, indem sie explizit zwischen Hinzufügen und Bearbeiten einer Adresse unterscheidet. Es ist ansprechender und beruhigender für den Benutzer und bietet proaktive Unterstützung. Dies zeigt die überlegene Fähigkeit des fein abgestimmten Modells, sich an den Best Practices für den Kundenservice auszurichten. Das fein abgestimmte Modell ist daher eine stärkere Wahl für Aufgaben, die benutzerfreundliche, strukturierte und unterstützende Antworten erforderlich sind.

  Abfrage 2

  Abfrage: „Ich brauche Unterstützung, um das Kontokategoriekonto zu ändern“

  Antwort durch finatuned GPT-4O-Modell:

  

  Antwort von GPT-4O:

  

  Vergleichende Analyse

  Das fein abgestimmte Modell verbessert das Engagement und die Klarheit des Benutzers im Vergleich zum Basismodell erheblich. Während GPT-4O eine strukturierte und dennoch generische Reaktion liefert, nimmt die fein abgestimmte Version einen gesprächigeren und unterstützenderen Ton an, wodurch sich die Interaktionen natürlicher anfühlen.

  Abfrage 3

  Abfrage: „Ich weiß nicht, wie ich meine persönlichen Informationen aktualisieren kann“

  Antwort durch finatuned GPT-4O-Modell:

  

  Antwort von GPT-4O:

  

  Vergleichende Analyse

  Das fein abgestimmte Modell übertrifft den Standard-GPT-4O, indem sie eine präzisere und strukturiertere Reaktion liefert. Während GPT-4O eine funktionale Antwort bietet, verbessert das fein abgestimmte Modell die Klarheit, indem sie explizit wichtige Unterscheidungen angeht und Informationen in kohärenterer Weise präsentiert. Zusätzlich passt es sich besser an den Kontext an und gewährleistet eine relevantere und raffiniertere Antwort.

  Gesamtvergleichsanalyse

  Feature	Fine-Tuned GPT-4o	GPT-4o (Base Model)
  Empathy & Engagement	High – offers reassurance, warmth, and a personalized touch	Low – neutral and formal tone, lacks emotional depth
  User Support & Understanding	Strong – makes users feel supported and valued	Moderate – provides clear guidance but lacks emotional connection
  Tone & Personalization	Warm and engaging	Professional and neutral
  Efficiency in Information Delivery	Clear instructions with added emotional intelligence	Highly efficient but lacks warmth
  Overall User Experience	More engaging, comfortable, and memorable	Functional but impersonal and transactional
  Impact on Interaction Quality	Enhances both effectiveness and emotional resonance	Focuses on delivering information without emotional engagement

  Schlussfolgerung

  In diesem Fall fein abfragt die Modelle, um besser auf den Kunden zu reagieren, ihre Effektivität. Es macht Interaktionen persönlicher, freundlicher und unterstützender, was zu stärkeren Verbindungen und höherer Benutzerzufriedenheit führt. Während Basismodelle klare und genaue Informationen liefern, können sie sich roboter und weniger ansprechend fühlen. Die Feinabstimmung der Modelle über die praktische Webplattform von OpenAI ist eine großartige Möglichkeit, maßgeschneiderte großsprachige Modelle für domänenspezifische Aufgaben zu erstellen.

  häufig gestellte Fragen

  Q1. Was ist Feinabstimmung in AI-Modellen?

  a. Feinabstimmung ist der Prozess der Anpassung eines vorgebliebenen KI-Modells, um eine bestimmte Aufgabe auszuführen oder ein bestimmtes Verhalten zu zeigen, indem es es weiter in einem kleineren, aufgabenspezifischen Datensatz trainiert. Auf diese Weise kann das Modell die Nuancen der Aufgabe besser verstehen und genauere oder maßgeschneiderte Ergebnisse erzielen.

  Q2. Wie verbessert die Feinabstimmung die Leistung eines KI-Modells?

  a.  Die Feinabstimmung verbessert die Leistung eines Modells, indem er es lehrt, die spezifischen Anforderungen einer Aufgabe besser zu erfüllen, z. B. das Hinzufügen von Empathie in Kundeninteraktionen. Es hilft dem Modell, personalisiertere, kontextbewusste Reaktionen zu liefern und die Interaktionen menschlicher und ansprechender zu machen.

  Q3. Sind fein abgestimmte Modelle teurer zu bedienen?

  a. Feinabstimmungsmodelle können zusätzliche Ressourcen und Schulungen erfordern, die die Kosten erhöhen können. Die Vorteile eines effektiveren, benutzerfreundlicheren Modells überwiegen jedoch häufig die anfängliche Investition, insbesondere für Aufgaben, die Kundeninteraktion oder komplexe Problemlösung beinhalten.

  Q4. Kann ich ein Modell alleine gut abschneiden?

  a. Ja, wenn Sie über die erforderlichen Daten und technischen Fachkenntnisse verfügen, können Sie ein Modell mit maschinellem Lernrahmen wie Umarmung von Gesicht, OpenAI oder anderen fein stimmen. Es erfordert jedoch typischerweise ein starkes Verständnis der KI, Datenvorbereitung und Schulungsprozesse.

  Q5. Wie lange dauert es, ein Modell zu optimieren?

  a. Die Zeit, die für die Feinabstimmung eines Modells erforderlich ist, hängt von der Größe des Datensatzes, der Komplexität der Aufgabe und den verfügbaren Rechenressourcen ab. Für größere Modelle mit riesigen Datensätzen kann es zwischen einigen Stunden und mehreren Tagen oder mehr dauern.

Das obige ist der detaillierte Inhalt vonFeinabstimmung eines Modells auf der OpenAI-Plattform für den Kundensupport. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!