通過混合搜索和重新養活建立上下文的破布系統

本指南詳細介紹了建立上下文檢索增強生成（RAG）系統，通過合併上下文信息和混合搜索技術來增強標準的抹布方法。標準的抹布系統雖然有效地回答自定義數據的問題，但經常由於文檔塊而遭受上下文損失。改進的系統解決了這一限制。

目錄：

• 天真的抹佈建築
• 天真的破布限制
• 混合破布工作流程
• 上下文檢索解釋了
• 實施上下文檢索
• 上下文檢索預處理
• 與混合搜索和重新加工體系結構的上下文抹布
• 實施實施：
  • 依賴性安裝
  • OpenAI API密鑰輸入
  • 環境變量設置
  • 數據集採集
  • JSON Wikipedia文檔處理
  • PDF研究論文處理以及上下文信息
  • 向量數據庫索引和語義檢索
  • BM25索引和關鍵字檢索
  • 合奏檢索的混合搜索
  • 用reranker增強回獵人
• 常見問題

幼稚的抹佈建築：

基本的抹布系統涉及：

1. 數據處理和索引：文檔已加載，塊，嵌入並存儲在矢量數據庫中。

2. 檢索和響應生成：處理用戶查詢，檢索類似的塊，LLM使用檢索到的上下文生成響應。

幼稚的破布限制：

• 由於孤立的塊引起的上下文信息損失。
• 次優率性能。
• 僅依靠語義相似性。

混合抹布工作流程：

這種方法結合了語義和關鍵字搜索：

BM25是TF-IDF的細化，用於關鍵字搜索，分組文檔長度。兩種方法的結果均使用相互等級融合（RRF）合併。

上下文檢索：

該技術通過準備大型語言模型（LLM）產生的上下文信息來增強質量。擬人化的研究突出了這種方法的好處。

上下文檢索預處理體系結構：

該管道處理文檔，將它們塊，使用LLM生成上下文信息，並將此上下文預先給每個塊。討論了LLM使用的成本優化策略。

帶有混合搜索和重新加工體系結構的上下文抹布：

該體系結構集成了上下文預處理，混合搜索（語義和關鍵字檢索），集合檢索（RRF）和Reranking（使用Baai/bge-reranker-V2-M3等跨編碼模型）以提高檢索準確性。

動手實施：本節提供了使用Langchain，Pymupdf，Chromadb，BM25和OpenAI的Embeddings和LLM的詳細的分步指南。該代碼涵蓋數據加載，處理，索引，檢索和響應生成。該示例使用Wikipedia文章和研究論文。使用樣品查詢測試管道證明了系統的有效性。

結論：該指南成功地證明了通過混合搜索和重新計算的上下文抹布系統的構建，與幼稚的抹布系統相比，展示了提高的檢索準確性和響應質量。

常見問題：本節回答了有關抹布系統，它們的局限性以及改進的架構中使用的技術的常見問題。

以上是通過混合搜索和重新養活建立上下文的破布系統的詳細內容。更多資訊請關注PHP中文網其他相關文章！