Genai：如何通过迅速的压缩技术降低成本

>本文探讨了迅速的压缩技术，以降低Genai应用程序的运营成本。 Generative AI经常使用检索功能（RAG）和及时的工程，但这可能会变得昂贵。 提示压缩最大程度地减少了发送给模型提供商（例如OpenAI或Google Gemini）的数据。

钥匙要点：

• 及时的压缩大大降低了Genai的运营成本。
有效的提示工程提高了产出质量，同时降低成本。
• 压缩简化了通信，降低了计算负载和部署成本。
> Microsoft Llmlingua和选择性上下文等工具优化和压缩提示，以节省大量。
• 挑战包括潜在的上下文损失，任务复杂性，特定于领域的知识需求以及平衡压缩与性能。 强大的定制策略至关重要。
基于抹布的genai应用程序成本挑战：
• >
抹布，使用矢量数据库来增强LLM上下文，意外增加了生产成本。 为每个用户与OpenAI的互动发送大量数据（例如，整个聊天历史记录）证明很昂贵。 这在生成个性化内容的问答聊天和应用程序中尤为明显（健身计划，食谱建议）。 挑战在于使足够的背景与成本控制平衡。

解决上升的抹布管道成本：>

及时工程，制作精确的查询以获得最佳的LLM响应，这是关键。 迅速压缩，提示提示到基本要素，进一步降低了成本。 这种简化的通信，降低了计算负担和部署成本。 使用工具和重写提示可节省大量成本（最高75％）。 Openai的Tokenizer工具有助于微调及时的长度。

提示示例：>

>原始：

>“计划意大利旅行，参观历史景点并享受当地美食。列出了顶级历史景点和传统菜肴。”>

• 压缩：

  “意大利旅行：顶级历史景点和传统菜肴。”>

• >原始：

  “需要一个健康的素食晚餐食谱，西红柿，菠菜，鹰嘴豆，在一个小时内准备就绪。建议？

压缩：
• “快速，健康的素食食谱（西红柿，菠菜，鹰嘴豆）。建议？”

理解提示压缩：>

有效提示对于企业应用程序至关重要，但是冗长的提示增加了成本。 迅速压缩可以通过删除不必要的信息，降低计算负载和每个查询成本来降低输入大小。 它涉及识别关键要素（关键字，实体，短语）并仅保留这些要素。 收益包括减少计算负载，提高成本效益，提高效率和更好的可扩展性。 提示压缩的

• 潜在上下文损失
• 任务复杂性
• >领域特定的知识要求
• >平衡压缩和性能

提示压缩的工具：>

>
• > Microsoft llmlingua：​​工具包优化LLM输出，包括提示压缩。它使用较小的语言模型来识别和删除不必要的单词，从而实现了显着的压缩，而性能损失最少。>



• 选择性上下文：>
  > OpenAI的GPT模型：
手动摘要或选择性上下文之类的工具可以压缩OpenAI模型的提示，在减少令牌计数的同时保持准确性。 提供了GPT模型的压缩提示的示例。

• 结论：

及时压缩可显着提高LLM的应用效率和成本效益。 Microsoft llmlingua和选择性上下文提供强大的优化工具。 选择正确的工具取决于应用程序需求。 及时压缩对于高效有效的LLM相互作用至关重要，从而节省成本并改善了基于抹布的Genai应用程序性能。 对于OpenAI模型，简单的NLP技术与这些工具相结合。

以上是Genai：如何通过迅速的压缩技术降低成本的详细内容。更多信息请关注PHP中文网其他相关文章！