有许多令人惊叹的工具可以帮助构建生成式人工智能应用程序。但开始使用新工具需要时间学习和练习。
因此，我创建了一个存储库，其中包含用于构建生成式 AI 应用程序的流行开源框架示例。
这些示例还展示了如何将这些框架与 Amazon Bedrock 结合使用。
您可以在这里找到存储库：
https://github.com/danilop/oss-for-generative-ai
在本文的其余部分中，我将描述我选择的框架、存储库中示例代码的内容以及如何在实践中使用它们。
包含的框架
-
LangChain：用于开发由语言模型支持的应用程序的框架，具有以下示例：
- 基本模型调用
- 链接提示
- 构建 API
- 创建客户端
- 实现聊天机器人
- 使用基岩代理
LangGraph：LangChain 的扩展，用于构建具有大型语言模型 (LLM) 的有状态、多角色应用程序
Haystack：用于构建搜索系统和语言模型应用程序的端到端框架
-
LlamaIndex：基于 LLM 的应用程序的数据框架，示例如下：
- RAG（检索增强生成）
- 建立代理
DSPy：使用大型语言模型解决人工智能任务的框架
RAGAS：评估检索增强生成（RAG）管道的框架
LiteLLM：标准化不同提供商的 LLM 使用的库
框架概述
浪链
用于开发由语言模型支持的应用程序的框架。
主要特点：
- LLM 支持的应用程序的模块化组件
- 复杂 LLM 工作流程的链和代理
- 上下文交互的记忆系统
- 与各种数据源和 API 集成
主要用例：
- 构建对话式人工智能系统
- 创建特定领域的问答系统
- 开发人工智能驱动的自动化工具
郎图
LangChain 的扩展，用于构建有状态的多参与者。法学硕士申请
主要特点：
- 基于图形的工作流程管理
- 复杂代理交互的状态管理
- 用于设计和实现多代理系统的工具
- 循环工作流程和反馈循环
主要用例：
- 创建协作人工智能代理系统
- 实施复杂、有状态的人工智能工作流程
- 开发人工智能驱动的模拟和游戏
草垛
用于构建生产就绪的 LLM 应用程序的开源框架。
主要特点：
- 具有灵活管道的可组合人工智能系统
- 多模态人工智能支持（文本、图像、音频）
- 生产就绪，具有可序列化的管道和监控
主要用例：
- 构建 RAG 管道和搜索系统
- 开发对话式人工智能和聊天机器人
- 内容生成和摘要
- 创建具有复杂工作流程的代理管道
骆驼指数
用于构建 LLM 支持的应用程序的数据框架。
主要特点：
- 高级数据摄取和索引
- 查询处理和响应合成
- 支持各种数据连接器
- 可定制的检索和排名算法
主要用例：
- 创建知识库和问答系统
- 在大型数据集上实现语义搜索
- 构建情境感知人工智能助手
DSPy
通过声明性和可优化的语言模型程序解决人工智能任务的框架。
主要特点：
- LLM交互的声明式编程模型
- LLM提示和参数自动优化
- 用于 LLM 输入/输出的基于签名的类型系统
- 用于自动提示改进的提词器（现在是优化器）
主要用例：
- 开发强大且优化的 NLP 管道
- 创建自我改进的人工智能系统
- 与法学硕士一起实施复杂的推理任务
拉加斯
检索增强生成（RAG）系统的评估框架。
主要特点：
- RAG 管道的自动评估
- 多种评估指标（忠实度、上下文相关性、答案相关性）
- 支持不同类型的问题和数据集
- 与流行的 RAG 框架集成
主要用例：
- RAG 系统性能基准测试
- 确定 RAG 管道需要改进的领域
- 比较不同的 RAG 实现
莱特法学硕士
多个 LLM 提供商的统一界面。
主要特点：
- 适用于 100 多个 LLM 模型的标准化 API
- 自动回退和负载平衡
- 缓存和重试机制
- 使用情况跟踪和预算管理
主要用例：
- 简化多法学硕士申请开发
- 实施模型冗余和回退策略
- 管理不同提供商之间的 LLM 使用情况
结论
如果您使用过这些工具，请告诉我。我错过了你想与他人分享的东西吗？请随意回馈存储库！
