Jina Embeddings V2：處理長文件很容易

jina嵌入式V2：革命性的長期文本嵌入

當前的文本嵌入模型（例如BERT）受到512 token處理限制的限制，從而阻礙了他們的冗長文檔的性能。 這種限制通常會導致背景損失和不准確的理解。 Jina Embeddings V2通過支持8192代幣，保留關鍵環境並顯著提高所處理信息在廣泛文本中的準確性和相關性，從而超過了這一限制。這代表了處理複雜文本數據的重大進步。

關鍵學習點

在處理長文檔時，了解傳統模型等傳統模型的局限性。
• >學習Jina嵌入式V2如何通過其8192 token的容量和高級體系結構來克服這些限制。
探索Jina Embeddings V2的創新特徵，包括Alibi，Glu及其三階段訓練方法。
• 在法律研究，內容管理和生成AI中發現現實世界的應用
>在使用擁抱的面部圖書館將Jina Embeddings V2整合到項目中的實用經驗。
• >本文是數據科學博客馬拉鬆的一部分。

> 目錄的

表

嵌入長文檔的挑戰

建築創新和培訓方法

性能評估

• 現實世界應用
• 模型比較
• 使用Jina Embeddings v2與擁抱的臉
• 結論
• 常見問題
• 嵌入長文檔的挑戰
• >
處理長文件在自然語言處理（NLP）中提出了重大挑戰。傳統方法在細分市場中處理文本，導致上下文截斷和碎片嵌入，這些嵌入方式歪曲了原始文檔。這將導致：

增加的計算需求

更高的內存消耗

降低了需要全面了解文本的任務的性能

Jina Embeddings V2通過將令牌限制提高到 8192
• ，無需過度細分並維護文檔的語義完整性。
• 建築創新和培訓方法
• Jina Embeddings V2通過最先進的創新增強了Bert的功能：
• >帶有線性偏見（alibi）的注意：
• 封閉式線性單元（GLU）： glu，以提高變壓器效率而聞名，用於進料層中。 Geglu和Reglu等變體用於根據模型大小來優化性能。 >
優化培訓： Jina Embeddings V2採用三階段訓練過程：
• >預讀：
  >使用蒙版語言建模（MLM）在巨大的清潔爬行語料庫（C4）上進行訓練。
  • > 與文本對進行微調：對語義上相似的文本對的嵌入。
  硬性負面微調：
  • 通過納入挑戰性的分心示例來改善排名和檢索。
  >記憶效率訓練：
  • 混合精度訓練和激活檢查點等技術可確保對較大批量尺寸的可伸縮性，對於對比度學習至關重要。
  在軟瑪克斯操作之前，m
，使其計算多樣化。 該模型使用編碼器變體，其中所有令牌彼此參與，與語言建模中使用的因果變體不同。

績效評估

Jina Embeddings V2在各種基準測試中實現最新性能，包括大量的文本嵌入基準（MTEB）和新的長期數據集。 關鍵結果包括：

分類：

亞馬遜極性和有毒對話分類等任務中的最高準確性。



群集：

在分組相關文本（PatentClustering和WikicitiesClustering）中優於競爭者。

檢索：
• >在諸如nordationqa之類的任務中擅長，其中完整的文檔上下文至關重要。 >
長文檔處理：
• 即使使用8192 token序列也保持MLM精度。
• 此圖表比較跨檢索和聚類任務的嵌入模型性能。

  >現實世界應用程序

  • >法律和學術研究：是搜索和分析法律文件和學術論文的理想選擇。
  內容管理系統：
  • 有效的標記，聚類和大型文檔存儲庫的檢索。
  >生成ai：
  • >增強了AI生成的摘要和及時的基於及時的模型。 >電子商務：
  >改進產品搜索和推薦系統。
  • >
  模型比較

  Jina Embeddings V2不僅在處理長序列方面，而且在與OpenAI的Text-ex-embedding-dada-002等專有模型競爭中脫穎而出。 它的開源性質可確保可訪問性。

  使用jina嵌入式v2與擁抱的臉

  步驟1：安裝

  >步驟2：使用jina嵌入與變壓器

  !pip install transformers
  !pip install -U sentence-transformers

  輸出：

  import torch
  from transformers import AutoModel
  from numpy.linalg import norm
  
  cos_sim = lambda a, b: (a @ b.T) / (norm(a) * norm(b))
  
  model = AutoModel.from_pretrained('jinaai/jina-embeddings-v2-base-en', trust_remote_code=True)
  
  embeddings = model.encode(['How is the weather today?', 'What is the current weather like today?'])
  
  print(cos_sim(embeddings, embeddings))

  處理長序列：

  >步驟3：使用jina嵌入與句子轉換器

  embeddings = model.encode(['Very long ... document'], max_length=2048)

  （提供了使用

  庫的類似代碼，以及設置的說明。）>

  sentence_transformers max_seq_length

  結論

  Jina Embeddings V2是NLP的重大進步，有效地解決了處理長文件的局限性。 它的功能改善了現有的工作流，並解鎖了使用長形式文本的新可能性。

  鍵外觀（原始結論中總結了關鍵點）>

  >常見問題

  （匯總了常見問題的答案）
  注意：圖像以其原始格式和位置保留。

以上是Jina Embeddings V2：處理長文件很容易的詳細內容。更多資訊請關注PHP中文網其他相關文章！