在人工智能领域，文本分类是一项关键任务，它涉及将文本数据分配到预定义的类别中。传统上，这项任务需要大量的数据标记、模型训练和微调。然而，随着大型语言模型（LLM）的出现，一种新的方法正在兴起：提示工程（Prompt Engineering）。提示工程是一种通过精心设计的提示来指导 LLM 执行特定任务的技术，从而无需API调用或任何自定义训练和微调。本文将深入探讨如何使用 提示工程 进行文本分类，并提供详细的步骤和示例。
关键要点
利用大型语言模型（LLM）进行文本分类，无需传统的数据标记和模型训练。
提示工程是一种通过精心设计的提示来指导 LLM 执行特定任务的技术。
使用Hugging Face的免费 LLM库，无需API密钥。
通过示例展示如何使用 提示工程 对电影评论进行情感分析（积极/消极）。
提示工程可以节省大量资金和时间，因为它避免了自定义训练或微调的需求。
大型语言模型经过互联网规模的数据训练，通常能够很好地理解各种分类任务。
掌握提示工程是有效利用LLM的关键。
文本分类与大型语言模型
什么是文本分类？
文本分类，也称为文本分类或主题分类，是自然语言处理（nlp）中的一项任务，旨在将给定的文本自动分配到一个或多个预定义的类别。文本分类可以应用于各种场景，例如情感分析、垃圾邮件检测、主题识别和意图理解。例如，文本分类可以分析客户评论，以确定他们对产品或服务的满意程度，或者将新闻文章组织成不同的主题类别。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
大型语言模型（LLM）的崛起
大型语言模型（LLM）是经过大规模文本数据训练的深度学习模型。这些模型已经证明了它们在各种 NLP 任务中表现出令人印象深刻的能力，包括文本生成、机器翻译和问题解答。LLM 能够理解和生成人类语言的能力为文本分类开辟了新的可能性。与传统的文本分类方法不同，LLM 可以通过 提示工程 执行文本分类，而无需大量的数据标记和模型训练。
这使得文本分类变得更加容易获得且具有成本效益。
提示工程：LLM文本分类的新范式
提示工程是一种通过设计特定的输入提示来引导 LLM 完成特定任务的技术。在文本分类的上下文中，提示工程涉及创建提示，指示 LLM 根据给定的文本输出类别标签。提示工程 的优势在于它不需要API，从而规避了高昂的调用成本；更不需要对LLM模型进行耗时耗力的微调，从而节省大量成本。
提示工程 是一种经济高效的文本分类方法，与需要大量数据和计算资源的传统方法不同，提示工程只需要精心设计的提示。这使得它成为资源有限的组织或个人的可行选择。
通过使用 提示工程，你可以节省大量资金和时间，避免自定义训练或微调的需要。在大多数情况下，提示工程足以满足大多数文本分类任务，因为大型语言模型已经在整个互联网或非常大的数据集上进行了训练。 因此，LLM 模型已经对你可能面临的问题有了很好的理解，你只需要通过巧妙的 提示工程，就能够构建所需的文本分类模型。
Hugging Face：免费LLM的宝库
Hugging Face 是一个流行的平台，提供各种预训练的 LLM 和 NLP 工具。该平台提供了一个免费的 LLM 库，使个人和组织能够访问和使用强大的语言模型，而无需支付任何许可费用。
这些免费模型可以用于 提示工程，以执行各种文本分类任务。
通过利用 Hugging Face 的免费 LLM，你可以进一步降低文本分类的成本。你不再需要构建和训练自己的模型，或者为商业 API 付费，而是可以利用 Hugging Face 社区贡献的预训练模型。这使得 文本分类 成为一项更易于访问和经济实惠的任务。
构建你自己的文本分类模型
加载数据集
第一步，你需要加载一个已经存在的文本分类数据集，或者通过爬虫等方式创建一个。这个数据集需要包含两列，一列是文本，一列是文本对应的分类标签。这里以加载IMDB评论数据集为例：
import pandas as pd
from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
import torch
from tqdm.auto import tqdm
from transformers import pipeline, logging
from IPython.display import display
ds = load_dataset("imdb", split="test[:100]")
df = pd.DataFrame({
"text": ds["text"],
"label": ["Positive" if i == 1 else "Negative" for i in ds["label"]]
})
class_labels = ["Positive", "Negative"]
- 导入必要的库：
pandas用于数据操作，datasets用于加载数据集，transformers用于加载模型。 - 使用
load_dataset函数加载 IMDB 数据集，split="test[:100]"表示只加载测试集的前 100 条数据。 - 创建一个
pandas DataFrame，其中包含文本和标签两列，并将数字标签转换为字符串标签（"Positive" 或 "Negative"）。 - 定义一个包含类别标签的列表
class_labels。
通过以上步骤，你已经成功加载并准备好用于 提示工程 的数据集。
准备你的提示
提示是指导 LLM 执行特定任务的关键。精心设计的提示可以显著提高文本分类的准确性和效率。以下是一些关于如何准备提示的技巧：
- 明确说明任务：在提示中清楚地说明 LLM 需要执行的任务。例如，你可以说：“你是一个有用的助手，可以对电影评论进行分类。”
- 提供类别标签：明确告知 LLM 可用的类别标签。例如，你可以说：“请从以下类别中选择一个：积极，消极。”
- 限制输出：指示 LLM 仅使用单个词语回答，即正确的类别。例如，你可以说：“仅用一个词语回答：正确的类别。”
- 提供示例：为 LLM 提供一些示例，以帮助其学习如何正确地分类文本。这被称为少量样本提示。例如，你可以提供一些电影评论以及它们对应的类别标签。
下面是一个用于构建提示的 Python 函数示例：
def build_prompt(text):
instruction = (
f"You are a helpful assistant that classifies movie reviews.
"
f"Choose one of the following categories: {', '.join(class_labels)}.
"
f"Only respond with a single word - the correct category. Learn from these examples:"
)
few_shot_examples = [
{"text": "The film had stunning visuals and a beautiful story.", "label": "Positive"},
{"text": "I didn't like the pacing. It felt too slow and boring.", "label": "Negative"}
]
prompt = instruction + "
"
for ex in few_shot_examples:
prompt += f"Review: {ex['text']}
Sentiment: {ex['label']}
"
prompt += f"Review: {text}
Sentiment:"
return prompt
这个函数将文本作为输入，并返回一个包含指令、示例和要分类的文本的提示。该函数还使用了少量样本示例，以帮助 LLM 更好地理解任务。
加载模型和运行推理
准备好数据集和提示后，就可以加载 LLM 并运行推理了。我们将使用 Hugging Face 的 pipeline 函数来简化此过程。
首先，指定要使用的模型名称。在这个例子中，我们使用 Microsoft 的 phi-2 模型：
model_name = "microsoft/phi-2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
device_map="auto"
)
pipeline = pipeline("text-generation", model=model, tokenizer=tokenizer)
这段代码首先通过 Hugging Face 加载 microsoft/phi-2 模型和它的 tokenizer。
然后，创建一个 pipeline 对象，该对象将用于生成文本。
最后，我们迭代数据集中的每个文本，并使用 pipeline 对象生成文本。然后我们进入推理阶段，并且计算模型推理总共耗时多久。
predictions = []
start_time = time()
for text in tqdm(df["text"], desc="Classifying with few-shot"):
prompt = build_prompt(text)
result = pipeline(prompt, max_new_tokens=5, do_sample=False)[0]["generated_text"]
prediction = result[len(prompt):].strip().split("
")[0]
predictions.append(prediction)
end_time = time()
print(f"Inference time: {end_time - start_time:.2f} seconds")
df["few_shot_prediction"] = predictions评估模型准确率
运行完推理后，需要评估模型的准确率。这可以通过将模型的预测与真实标签进行比较来完成。
下面是一个用于评估模型准确率的 Python 函数示例：
import random
def evaluate_predictions(df, label_col="label", pred_col="few_shot_prediction", num_examples=5):
df[label_col] = df[label_col].str.lower().str.strip()
df[pred_col] = df[pred_col].str.lower().str.strip()
correct = (df[label_col] == df[pred_col]).sum()
total = len(df)
accuracy = correct / total
print(f"Accuracy: {accuracy*100:.2f}% ({correct}/{total} correct)")
mismatches = df[df[label_col] != df[pred_col]]
if mismatches.empty:
print("No mismatches found!")
else:
print(f"Showing {min(num_examples, len(mismatches))} random mismatches")
for _, row in mismatches.sample(min(num_examples, len(mismatches)), random_state=42).iterrows():
print(f"Review: {row['text']}
True Label: {row[label_col]}
Predicted: {row[pred_col]}")
-
此函数用于规范化标签列和few _shot预测列，方便后续计算准确率
-
函数计算模型准确率，并打印准确率以及一些随机选择的错分样本。这能够帮助你了解模型在哪些情况下表现不佳。
-
然后，该函数会打印模型的准确率，同时会展示5条分类错误的文本内容，以帮助识别模型出现错误的原因。
通过使用此函数，你可以快速轻松地评估 LLM 文本分类模型的准确率，并识别需要改进的领域。
Prompt Engineering 价格
Prompt Engineering 价格详情
提示工程的一大优势在于其低廉的成本。与传统的机器学习方法相比，提示工程无需大量的数据标注和模型训练，从而大大降低了成本。
在使用 Hugging Face 的免费 LLM 库时，你无需支付任何许可费用。这使得提示工程成为一种极具成本效益的文本分类方法。
以下是一些可以节省成本的关键领域：
- 数据标注：无需手动标注大量数据。
- 模型训练：无需训练自己的模型，从而节省计算资源和时间。
- API费用：无需为商业 API 付费。通过使用免费的 LLM 和巧妙设计的 Prompt，依然能够达到高效的文本分类的目的，而无需任何API调用，可以有效降低成本。
提示工程的优缺点
? Pros成本效益高：无需大量的数据标注和模型训练，无需商业 API 费用。
易于实现：即使没有机器学习专业知识的人也可以使用。
灵活性高：通过更改提示来适应不同的任务。
可访问性强：Hugging Face 提供了免费的 LLM 和工具。
? Cons准确率可能低于微调模型：对于某些复杂的文本分类任务，提示工程 的准确率可能不如经过微调的模型。
提示设计需要技巧：设计有效的提示需要一定的技巧和经验。
可能需要一些实验：找到最佳提示可能需要一些实验和错误。
提示工程的核心优势
核心优势
提示工程的核心优势在于其灵活性和易用性。通过简单地更改提示，你可以轻松地调整 LLM 以执行不同的文本分类任务，而无需重新训练模型。
此外，提示工程 易于实现，即使没有机器学习专业知识的人也可以使用。Hugging Face 提供的工具和资源使你可以快速开始使用 提示工程 进行文本分类。
以下是 提示工程 的一些核心优势：
- 灵活性：通过更改提示来适应不同的任务。
- 易用性：无需机器学习专业知识。
- 可访问性：Hugging Face 提供了免费的 LLM 和工具。
- 成本效益：无需数据标记、模型训练或 API 费用。
提示工程的用例
用例分析
提示工程 可以应用于各种文本分类用例，包括：
-
情感分析：分析客户评论、社交媒体帖子或调查回复，以确定人们对特定产品、服务或品牌的情感。
-
垃圾邮件检测：识别垃圾邮件或恶意电子邮件，并将其从收件箱中过滤掉。
-
主题识别：将新闻文章、博客帖子或研究论文组织成不同的主题类别。
-
意图理解：确定用户在搜索查询、聊天机器人对话或语音命令中的意图。
这些只是 提示工程 可以应用的众多用例中的几个示例。随着 LLM 的不断发展，我们可以期待看到 提示工程 在 文本分类 领域的应用越来越广泛。
常见问题解答
什么是提示工程？
提示工程是一种通过设计特定的输入提示来指导 LLM 完成特定任务的技术。在文本分类的上下文中，提示工程涉及创建提示，指示 LLM 根据给定的文本输出类别标签。
提示工程需要API密钥么？
不需要，这正是prompt engineering的优势之一！提示工程 的优势在于它不需要API，从而规避了高昂的调用成本；更不需要对LLM模型进行耗时耗力的微调，从而节省大量成本。
在进行文本分类中，prompt应该如何设计？
明确说明任务，提供类别标签，限制输出，提供示例。
相关问题
除了情感分析，文本分类还有哪些应用？
除了情感分析，文本分类 还可以应用于各种场景，包括垃圾邮件检测、主题识别和意图理解。 垃圾邮件检测：文本分类 可用于识别垃圾邮件或恶意电子邮件，并将其从收件箱中过滤掉。这有助于保护用户免受网络钓鱼攻击、恶意软件和其他在线威胁。 主题识别：文本分类 可用于将新闻文章、博客帖子或研究论文组织成不同的主题类别。这有助于用户快速找到他们感兴趣的信息，并跟踪特定主题的最新进展。 意图理解：文本分类 可用于确定用户在搜索查询、聊天机器人对话或语音命令中的意图。这有助于构建更智能、更具响应性的应用程序，能够理解用户的需求并提供相关的结果。
