CMU & Tsinghua's new work: Let LLM synthesize data to learn by itself, and the performance of specific tasks is also greatly improved.

The AIxiv column is a column where this site publishes academic and technical content. In the past few years, the AIxiv column of this site has received more than 2,000 reports, covering top laboratories from major universities and companies around the world, effectively promoting academic exchanges and dissemination. If you have excellent work that you want to share, please feel free to contribute or contact us for reporting. Submission email: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com The main authors of this article are from Tsinghua University and Carnegie Mellon University (CMU). Together they are Zhao Chenyang, an undergraduate graduate of the Computer Science Department of Tsinghua University, and Jia Xueying, a master's student of Carnegie Mellon University.
Although large-scale language models (LLM) perform well in many natural language processing tasks, their results in specific tasks are not satisfactory. In order to improve the performance of models on specific natural language tasks, existing methods mainly rely on high-quality manually annotated data. The process of collecting this type of data is time-consuming and laborious, especially difficult for tasks where data are scarce.
In order to solve this problem, some research attempts to generate training data through powerful Teacher Model to enhance the performance of Student Model on specific tasks. However, this approach still faces many challenges in terms of cost, scalability, and legal compliance. When high-quality human supervision signals cannot be continuously obtained, the ability to continuously iterate the model has become an urgent problem to be solved.
A research team from Carnegie Mellon University and Tsinghua University proposed the SELF-GUIDE method. This method generates a task-specific data set by the language model itself and fine-tunes it on this data set, thereby significantly improving the model's ability on a specific task without relying on a large amount of external high-quality data or a more powerful Teacher Model. Specifically, with approximately 3 external input samples, SELF-GUIDE uses a multi-stage generation and filtering mechanism to fine-tune the model using synthetic data generated by the model to make the model perform better on specific tasks.

Paper address: https://arxiv.org/abs/2407.12874 Code repository: https://github.com/zhaochenyang20/Prompt2Model-SELF-GUIDE

                     Figure 1: SELF-GUIDE uses the model to autonomously synthesize data The ability to improve the model's ability to perform specific tasks.

Method

Specifically, the research team decomposed the SELF-GUIDE method into three main stages: input data generation, output data generation and quality optimization.

Input data generation

In the design and implementation process of the SELF-GUIDE framework, the researcher first specified different prompt templates according to the task type (generative task or classification task). For generative tasks, the SELF-GUIDE framework uses a relatively simple prompt template. For classification tasks, the SELF-GUIDE framework adopts another strategy. For classification tasks, the SELF-GUIDE framework first randomly selects a label from all label spaces and uses it as a conditionally generated pseudo-label to guide the generation of input data. After selecting a pseudo-label, the SELF-GUIDE framework uses more complex conditions to generate a template to guide the model to generate input content corresponding to the selected pseudo-label.

Figure 2: The core of SELF-GUIDE lies in an efficient multi-stage generation mechanism, in which the language model gradually generates input-output data combinations. After generation and filtering, the self-generated data is further used to fine-tune the language model itself. This diagram describes SELF-GUIDE's flow for build tasks.

After the template is selected and the few-shot examples are populated, the complete prompt is passed to LLM to generate the input data. After each round of prompts, newly generated inputs are added to the input library. A subset of the inputs are randomly sampled from this library and merged with the inputs from the initial example to form new cues, gradually expanding the set of inputs generated by the LLM and reducing duplication. SELF-GUIDE performs only one round of input generation, followed by a quality optimization phase where rule-based filters are applied to remove low-quality inputs.

図 3: この図は、SELF-GUIDE が分類タスクを完了するプロセスを示しています。分類タスクからのデータの場合、SELF-GUIDE は最初に疑似ラベルを生成し、次に対応する入力を生成し、最後に実際のラベルを再生成します。
出力データ生成
出力データ生成フェーズでは、典型的なコンテキスト学習方法が使用されます。研究者はタスクの指示と元の例をモデルに提供し、モデルが入力生成フェーズで生成された各入力にラベルを付けることができるようにします。すべての出力が取得された後、別のルールベースのフィルタリングが実行されて、最終的な合成データセットが選択されます。
品質の最適化
生成されたデータの品質は、下流のトレーニングの成功にとって重要です。 SELF-GUIDE では、品質を向上させるために 2 つの戦略を採用しています。1 つは生成パラメータを調整して生成品質を向上させる方法、もう 1 つはルールに基づいて低品質のサンプルをフィルタリングする方法です。
温度を調整する: 温度を調整することは、品種と品質のバランスをとるための一般的な戦略です。 SELF-GUIDE フレームワークは、入力生成ステージでより高い温度を使用して多様性を促進し、他のステージでより低い温度を使用して最高確率の出力を保証し、全体的なデータ品質を保証します。ただし、温度調整だけでは望ましいバランスを達成するのに十分ではありません。したがって、SELF-GUIDE は、入力生成後と出力アノテーション後に 2 回のルールベースのデータ フィルタリングも実行します。
ノイズ フィルター: 研究者は、一般的な挨拶やノイズ文字 (たとえば、生成されたコンテンツ内の「”」など) を含むノイズ用語のリストを手動で作成しました。生成されたノイズ用語の例の入力または出力に含まれます。
長さフィルター: サンプルの長さは偏っている可能性がありますが、研究者は、これらのサンプルが特定のタスクの長さの分布の観点からは代表的なものであると信じています。サンプルの長さは正規分布に従い、入力サンプルの平均 μ と標準偏差 σ を計算します。研究者は、生成されたサンプルの入力長と出力長が同じ正規分布に従う必要があると想定し、長さを必要とします。 (μ − 2σ、μ + 2σ)
1 つのパラメーターですべてに適合: SELF-GUIDE が指示と例で指定されたターゲット分布に準拠するトレーニング データを生成するには、ラベル付けされたパラメータでさまざまなハイパーパラメーターを最適化する必要があります。生成された入力と出力の数、入力データが生成される温度、出力データが生成される温度、パラメータの微調整などのデータ ポイント。研究者は実験テスト タスクを 2 つの部分に分割します。生成パラメータを調整するためにすべてのデータを使用できます。これは検証タスクと呼ばれます。データの他の部分はテストにのみ使用され、研究者が検索するパラメータの調整には使用できません。検証タスクで「最悪のタスクのパフォーマンスを最大化」するパラメータを設定し、SELF-GUIDE のパフォーマンスを評価するために修正しました。研究者は、Super-NaturalInstructions V2 ベンチマークからタスクの半分をランダムに選択し、残りの半分を評価に使用しました。入力生成、出力生成、微調整については、研究者は Super-Natural 命令ベンチマークと同じものを使用し、分類タスクには完全一致、生成タスクには ROUGE-L を使用しました。 SELF-GUIDE の効果を反映するために、研究者は SELF-GUIDE を他の命令追従およびコンテキスト学習方法と比較しました。
1.Few-Shot ICL: 主なベンチマークとして、研究者は直接ヒント言語モデルと比較しました。
2. Self-ICL は、自己生成されたサンプルを使用して、Self-ICL の作業に基づいて修正を加え、命令追従の数を増やします。プロンプトの単語を埋めるために (固定数の例ではなく) できるだけ多くの例を自己生成することで、サンプルを参照します。
3.少数ショット微調整: 微調整には少数の入力サンプルを直接使用します。
セルフガイド 原文の主な実験結果は以下の通りです。ベースライン評価指標では、分類タスクの絶対改善は 14.5% に達し、生成タスクの絶対改善は 17.9% に達しました。これらの結果は、データが非常に限られている場合でも、SELF-GUIDE が LLM をタスク固有の専門化に導くのに非常に効果的であることを示しています。これは、LLM を特定のタスクに大規模に適応させるための自己生成データの可能性を強調しています。より詳しい実験結果やアブレーション実験については、原論文を参照してください。



図 4: タスクのタイプ (分類タスクと生成タスク) ごとに、研究者はタスクをランダムに 2 つの半分に分割し、半分は「1 つのパラメーターがすべてに適合」戦略のパラメーターのデバッグに使用され、もう半分は使用されました。半分は、これらのデバッグされたパラメーターを使用するために使用されました。パラメーターは、SELF-GUIDE のパフォーマンスをテストします。 SELF-GUIDE の前後でモデルのパフォーマンスを評価するために、同じデコード パラメーターとキュー テンプレートを使用します。

概要

SELF-GUIDE フレームワークは、モデルが自律的にトレーニング データを生成し、このデータに基づいて微調整することを促進します。実験結果は、この方法が特定のタスクに対する大規模言語モデルの専門的能力を向上させる大きな可能性を秘めていることを示しています。特にデータが限られている場合、SELF-GUIDE はトレーニング データの不足の問題を効果的に解決できます。同時に、これは自律的なモデル適応と継続的学習のためのテクノロジーを探索するための参考にもなります。研究者らは、この研究が自律的な調整と改善メカニズムの AI システムの開発を促進し、AI システムを人間の意図とより一致させることを期待しています。

The above is the detailed content of CMU & Tsinghua's new work: Let LLM synthesize data to learn by itself, and the performance of specific tasks is also greatly improved.. For more information, please follow other related articles on the PHP Chinese website!