Cognee Llamaindex: Membina saluran paip graphrag yang kuat

Apabila menghubungkan pengetahuan luaran ke model bahasa yang besar (LLMS), pemaju sering bergelut dengan mengintegrasikan data dari pelbagai sumber -sebahagiannya berstruktur, kebanyakannya tidak berstruktur -sementara masih kembali maklumat yang cepat dan tepat. Cabaran ini adalah di tengah-tengah generasi pengambilan semula (RAG), yang menawarkan cara yang menarik untuk LLM untuk menarik data khusus domain atas permintaan. Tetapi sebagai skala data dan keperluan untuk sambungan yang tepat tumbuh, saluran paip RAG boleh menjadi sukar dikawal.

di mana Cognee dan Llamaindex melangkah masuk, memperkenalkan sistem yang mengubah kain standard ke dalam graphrag-pendekatan yang bukan sahaja mengambil teks yang relevan tetapi juga membina hubungan yang lebih kaya, berasaskan graf di antara titik data. Pada dasarnya, ia bergerak melampaui pengambilan statik, berasaskan sebahagian dan menawarkan "peta" pengetahuan global yang boleh memberi kuasa lebih mantap dan kontekstual yang tepat.

Objektif Pembelajaran

• Memahami asas-asas generasi pengambilan semula (RAG) dan peranannya dalam meningkatkan keupayaan LLM.
• Ketahui bagaimana cognee dan llamaindex membolehkan graphrag untuk mendapatkan semula pengetahuan yang lebih berstruktur dan konteks.
• meneroka proses membina saluran paip graphrag, dari pengambilan data ke pertanyaan berasaskan graf.
• Cari kelebihan pengambilan berasaskan grafik ke atas kaedah berasaskan tradisional dalam sistem RAG.
• Dapatkan pandangan mengenai aplikasi praktikal dan strategi penempatan untuk graphrag dalam aliran kerja AI dunia sebenar.

Artikel ini diterbitkan sebagai sebahagian daripada Blogathon Sains Data

Jadual Kandungan rag secara ringkas memperkenalkan cognee dan llamaindex

Membina saluran paip graphrag: gambaran konseptual

Graphrag

• Kesimpulan
• Soalan -soalan yang sering ditanya
Rag secara ringkas
Generasi Retrieval-Augmented Generation (RAG) menyuntik pengetahuan luaran ke dalam model bahasa yang besar semasa kesimpulan. Dengan menukar data ke dalam embeddings vektor dan menyimpannya dalam pangkalan data vektor, sistem RAG membolehkan LLMS untuk membuat alasan atas maklumat khusus domain yang mereka tidak semestinya memiliki. Faedah utama termasuk:
• • Menghubungkan data khusus domain ke LLMS : merapatkan jurang antara model bahasa tujuan umum dan pengetahuan khusus.
  • Mengurangkan kos : Membolehkan penggunaan LLM yang lebih fokus dengan mengambil hanya data yang berkaitan dengan pertanyaan.
  • Meningkatkan ketepatan : Menyampaikan respons yang disasarkan dan disesuaikan dengan domain yang melampaui keupayaan LLMS asas.

  Walau bagaimanapun, kain tradisional boleh memerlukan juggling pelbagai alat, berurusan dengan metadata kompleks, dan menguruskan kemas kini kepada dataset yang sentiasa berkembang. Selain itu, metodologi "bahagian" standard RAG boleh kehilangan konteks global kerana setiap bahagian sebahagian besarnya dirawat secara berasingan.

  memperkenalkan Cognee dan Llamaindex

  Cognee adalah rangka kerja pengetahuan dan memori yang menarik inspirasi dari bagaimana manusia membuat peta mental. Dengan memodelkan objek, konsep, dan hubungan sebagai struktur graf, ia membantu membawa struktur dan konteks kepada data mentah, menjadikan pengetahuan lebih dilayari dan saling beroperasi.

  Llamaindex melengkapkan ini dengan berkhidmat sebagai perpustakaan integrasi data yang serba boleh, dengan lancar data menyalurkan dari pelbagai sumber -termasuk pangkalan data, API, dan teks yang tidak berstruktur. Sama ada anda berurusan dengan PDF, jadual SQL, atau titik akhir JSON, Llamaindex boleh menyatukan aliran maklumat ini ke dalam saluran paip yang koheren.

  kenapa cognee?

  Model pengetahuan yang diilhamkan oleh manusia
  • : Cognee meniru fungsi kognitif, mewakili objek dan konsep dalam graf yang menyoroti hubungan mereka. Lapisan Semantik yang kuat
  : Dengan merasmikan graf ini dalam ontologi, pemaju secara sistematik dapat menangkap makna dan hubungan.
  • Senibina modular
  : Pilih kedai LLM atau vektor yang anda suka (mis., OpenAI, model sumber terbuka tempatan, redis, atau pangkalan data graf kegemaran anda) dan sambungkannya dengan lancar dalam Cognee.
  • cognee llamaindex = graphrag
  menggabungkan cognee dan llamaindex mencipta graphrag, sistem yang:

  Mengubah data mentah ke dalam graf

  : Daripada hanya memasukkan ketulan teks, ia membina lapisan semantik konsep, nod, dan hubungan.
  • Menjana ontologi khusus domain yang fleksibel : Membiarkan anda memodelkan sebarang kes penggunaan menegak atau khusus dengan tepat.
  • membolehkan lapisan deterministik : memastikan hasil yang lebih konsisten dan dijelaskan melalui logik dan hubungan berasaskan graf.
  • Membina saluran paip graphrag: gambaran konseptual
  Walaupun aliran kerja akhir-ke-akhir termasuk beberapa kod Python yang mudah (yang akan dilangkau di sini), di bawah ini adalah satu konsep konsep bagaimana anda akan membina saluran paip graphrag dengan cognee dan llamaindex:

  Langkah 1: Sediakan persekitaran

  Anda akan memasang dan mengkonfigurasi kebergantungan yang diperlukan -Cognee, Llamaindex, dan mana -mana pembekal LLM dan pangkalan data yang dipilih. Langkah awal ini memastikan persekitaran anda mempunyai segala yang diperlukan untuk menguruskan embeddings vektor, penyimpanan graf, dan kesimpulan LLM.

  !pip install llama-index-graph-rag-cognee==0.1.2
  
  # Import required libraries
  import os
  import asyncio
  
  import cognee
  from llama_index.core import Document
  from llama_index.graph_rag.cognee import CogneeGraphRAG
  
  # Set API key for OpenAI
  if "OPENAI_API_KEY" not in os.environ:
      os.environ["OPENAI_API_KEY"] = ""

  Langkah 2: Sediakan dataset anda

  Sama ada anda mempunyai coretan teks pendek atau keseluruhan set dokumen, anda akan mengumpulkan data tersebut dan memuatkannya ke dalam koleksi. LlamAindex boleh mengendalikan pelbagai format fail dan sumber data, tetapi anda biasanya akan memberikan teks dalam segmen yang boleh diurus atau "dokumen."

  documents = [
      Document(
          text="Jessica Miller, Experienced Sales Manager with a strong track record in driving sales growth and building high-performing teams."
      ),
      Document(
          text="David Thompson, Creative Graphic Designer with over 8 years of experience in visual design and branding."
      ),
  ]

  Langkah 3: Inisialisasi CogneGegraphrag

  Seterusnya, anda membuat objek cogneegraprag, menyatakan bagaimana anda akan menyimpan graf anda (mis., Memori dengan NetworkX, atau dalam pangkalan data graf khusus) dan penyimpanan vektor anda (mis., LancedB, Pinecone, atau pangkalan data vektor lain). Anda juga memilih penyedia LLM anda, seperti OpenAI atau model tempatan, bersama dengan kekunci API yang berkaitan.

  cogneeRAG = CogneeGraphRAG(
      llm_api_key=os.environ["OPENAI_API_KEY"],
      llm_provider="openai",
      llm_model="gpt-4o-mini",
      graph_db_provider="networkx",
      vector_db_provider="lancedb",
      relational_db_provider="sqlite",
      relational_db_name="cognee_db",
  )

  Langkah 4: Tambah dan proses data

  Anda memuatkan dokumen anda ke dalam sistem, yang membolehkan Cognee dan Llamaindex untuk menghuraikan dan membenamkannya. Sebaik sahaja data disediakan, anda menggunakan langkah transformasi yang menganalisis teks dan mengekstrak entiti, hubungan, dan metadata yang bermakna. Ini menjadi nod dan tepi dalam graf pengetahuan anda.

  # Load documents into CogneeGraphRAG
  await cogneeRAG.add(documents, "test")

  Langkah 5: Lakukan carian

  dengan graf pengetahuan yang dibina di atas data anda, anda boleh menjalankan dua jenis pertanyaan utama:

  • Carian berasaskan grafik Pengetahuan -memanfaatkan hubungan global dalam graf untuk melihat bagaimana kepingan maklumat bersama.
  • Carian berasaskan RAG -menggunakan pengambilan semula tradisional untuk mencari petikan teks yang relevan tanpa perlu memanfaatkan konteks graf global.

  Kelebihan pendekatan berasaskan graf adalah bahawa ia boleh mempertimbangkan konteks dan hubungan di semua dokumen. Sebagai contoh, jika pelbagai dokumen merujuk seseorang atau konsep, pendekatan grafik membantu menyatukan dan merujuk mereka untuk jawapan yang lebih komprehensif.

  # Answer prompt based on knowledge graph approach:
  
  search_results = await cogneeRAG.search("Tell me who are the people mentioned?")
  
  print("\n\nAnswer based on knowledge graph:\n")
  for result in search_results:
      print(f"{result}\n")
      
  # Using the graph search above gives the following result:
  
  #Answer based on knowledge graph:
  #The people mentioned are: David Thompson and Jessica Miller.
  
  #Answer prompt based on RAG approach:
  search_results = await cogneeRAG.rag_search("Tell me who are the people mentioned?")
  
  print("\n\nAnswer based on RAG:\n")
  for result in search_results:
      print(f"{result}\n")
  
  #Using the RAG search above gives the following result:
  
  #Answer based on RAG:
  #Jessica Miller
  

  Langkah 6: Terokai nod yang berkaitan

  Di luar pengambilan langsung, Graphrag membolehkan anda menavigasi hubungan. Katakan anda ingin melihat semua konsep atau orang yang dikaitkan dengan entiti tertentu, graf pengetahuan dapat mendedahkan hubungan ini, yang menawarkan pandangan yang lebih mendalam.

  Pada akhir langkah-langkah ini, saluran paip anda tidak lagi dihadkan oleh kekangan peringkat bahagian rag standard. Sebaliknya, LLM anda boleh memanfaatkan pandangan pengetahuan yang kukuh dan saling berkaitan. Ini membawa kepada jawapan yang lebih berwawasan, kohesif, dan kaya konteks.

  !pip install llama-index-graph-rag-cognee==0.1.2
  
  # Import required libraries
  import os
  import asyncio
  
  import cognee
  from llama_index.core import Document
  from llama_index.graph_rag.cognee import CogneeGraphRAG
  
  # Set API key for OpenAI
  if "OPENAI_API_KEY" not in os.environ:
      os.environ["OPENAI_API_KEY"] = ""

  Mengapa memilih Cognee dan Llamaindex?

  Cognee dan Llamaindex menggabungkan penalaran berasaskan graf dengan integrasi data yang fleksibel, mengubah kain tradisional menjadi pendekatan yang lebih berstruktur dan berwawasan. Sinergi ini meningkatkan pengambilan pengetahuan, meningkatkan pemahaman kontekstual, dan memudahkan penggunaan untuk aplikasi berkuasa AI.

  Rangka Kerja Agentik Synergized dan Memori

  Graphrag memudahkan memori jangka panjang, jangka pendek, dan khusus domain dalam ejen anda. Dengan mengekalkan pengetahuan terperinci dalam struktur berasaskan graf, ejen dapat mengingati konteks lebih tepat dari masa ke masa dan menyesuaikan diri dengan maklumat baru dengan lancar.

  Pertanyaan dan Insights Enhanced

  Dengan pandangan yang lebih holistik, pertanyaan anda secara automatik dapat berkembang dengan lebih canggih. Dari masa ke masa, graf dapat mengoptimumkan hubungannya sendiri, menghasilkan data yang lebih kaya dan lebih berkaitan. Daripada mengembalikan coretan tunggal dari satu bahagian, ejen anda boleh mensintesis pelbagai rujukan atau menyatukan fakta yang bertaburan.

  penyebaran mudah

  Cognee bertujuan untuk abstrak kerumitan. Ia dilengkapi dengan integrasi standard untuk LLMS, pangkalan data vektor, dan kedai graf, bermakna anda boleh melancarkan saluran paip graphrag dengan overhead yang minimum. Ini memastikan anda menghabiskan lebih banyak masa meneroka pandangan dan bukannya berurusan dengan kerepotan infrastruktur.

  

  di luar teks: menggambarkan graf pengetahuan
  Salah satu kekuatan besar graphrag terletak pada bagaimana ia mengubah teks menjadi lapisan semantik yang dinamik. Bayangkan setiap entiti (mis., Seseorang, lokasi, konsep) diwakili sebagai nod. Tepi mungkin menangkap rujukan -seperti peranan seseorang dalam organisasi atau hubungan dengan konsep lain.
  Visualisasi ini membantu kedua -dua pemaju dan pihak berkepentingan:
  • Kenal pasti corak : Lihat kelompok konsep atau entiti yang berkaitan dengan erat.
  • Validate dan Refine : Cepat melihat ketidaktepatan dalam hubungan dan membetulkannya dalam saluran paip data anda.
  • Berkomunikasi Insights : menyampaikan saling ketergantungan kompleks dalam format yang lebih intuitif.
  Dalam praktiknya, anda mungkin melihat nod bagi setiap orang dengan tepi yang menghubungkannya dengan peranan, lokasi, atau pencapaian, semuanya dinyatakan dalam rajah grafik yang koheren -lebih jelas daripada mencari serpihan teks yang banyak untuk maklumat itu.
  Membuka potensi graphrag
  Mengintegrasikan data berstruktur dan tidak berstruktur ke dalam aliran kerja AI bukanlah prestasi kecil. Tetapi dengan menyatukan kuasa Llamaindex untuk pengambilan data dengan lapisan semantik berasaskan grafik Cognee, anda mendapat pendekatan yang diselaraskan yang menjadikan keseluruhan saluran paip lebih efisien, lebih konsisten, dan akhirnya lebih berwawasan.

  Apakah maksudnya untuk perniagaan atau penyelidikan anda ?

  • Anda boleh membawa apa -apa bentuk data -sama ada penyenaraian produk, kertas saintifik, atau interaksi pelanggan -ke dalam graf pengetahuan tunggal.
  • LLM anda tidak lagi "meneka" dari petikan -petikan; Ia menyimpulkan dari peta pengetahuan holistik.
  • Anda boleh memberi tumpuan kepada tugas-tugas peringkat tinggi seperti penapisan ontologi, menggambarkan hubungan, dan melancarkan cara terbaik untuk menafsirkan data anda.

  Sama ada anda seorang pemaju solo membina chatbot khusus atau pasukan perusahaan arkitek platform pengetahuan, Graphrag menawarkan asas yang fleksibel.

  Ingin mengetahui lebih lanjut atau mencubanya sendiri? Anda boleh menjalankan demo terperinci di Google Colab, di mana anda akan melihat dengan tepat bagaimana untuk menyediakan persekitaran anda, memuatkan data, membina graf pengetahuan, dan menjalankan pertanyaan.

  Bottom line: Jika anda serius memanfaatkan potensi penuh data anda seiring dengan model bahasa canggih, pendekatan graphrag Cognee dan Llamaindex adalah langkah seterusnya. Dengan beberapa baris konfigurasi dan beberapa data berstruktur yang baik, anda boleh mengubah teks biasa ke dalam kecerdasan yang boleh diambil tindakan-merangkumi jurang antara dokumen yang tidak berstruktur dan pandangan yang benar-benar "pintar".
  Kesimpulan
  Cognee dan Llamaindex menawarkan kombinasi yang kuat untuk meningkatkan sistem RAG dengan mengintegrasikan pengambilan pengetahuan berstruktur dengan teknik pengindeksan lanjutan. Sinergi ini meningkatkan pemahaman kontekstual, kecekapan pengambilan semula, dan kebolehsuaian di pelbagai aplikasi AI. Dengan memanfaatkan penalaran berasaskan graf dan integrasi data yang fleksibel, organisasi boleh membina penyelesaian AI yang lebih pintar, berskala, dan tepat. Apabila sistem pengetahuan yang didorong oleh AI berkembang, alat seperti Cognee dan Llamaindex akan memainkan peranan penting dalam membentuk masa depan pengambilan maklumat.
  Takeaways Key
  cognee dan llamaindex meningkatkan sistem RAG dengan pengambilan pengetahuan berstruktur.
  Penalaran berasaskan grafik meningkatkan pemahaman kontekstual dan membuat keputusan.
  Integrasi data yang fleksibel memastikan kebolehsuaian merentasi pelbagai aplikasi AI.
  Kombinasi meningkatkan kecekapan pengambilan semula dan ketepatan tindak balas.
  Sistem AI Masa Depan akan bergantung pada alat tersebut untuk mengoptimumkan aliran kerja berasaskan pengetahuan.
  Soalan Lazim
  Q1. Apakah graphrag, dan bagaimana ia berbeza dari rag standard? a. Graphrag adalah variasi generasi pengambilan semula (RAG) yang menggunakan graf pengetahuan untuk menyimpan dan mengambil maklumat, dan bukannya bergantung semata-mata pada teks chunked dan pangkalan data vektor. Pendekatan ini mengekalkan lebih banyak konteks global, membolehkan pandangan yang lebih kaya dan rujukan silang yang lebih baik merentasi pelbagai dokumen atau sumber data.

  Q2. Apa itu Cognee, dan mengapa saya harus menggunakannya?

  a. Cognee adalah kerangka untuk pengetahuan dan pengurusan ingatan yang diilhamkan oleh bagaimana manusia membuat peta mental di dunia. Ia bertukar data tidak tersusun ke dalam lapisan semantik berasaskan graf, menjadikannya lebih mudah untuk menyimpan, mengurus, dan mengambil hubungan yang kompleks. Dengan Cognee, anda mendapat:
  pemodelan konsep dan hubungan yang diilhamkan oleh manusia
  struktur grafik yang boleh dijelaskan
  integrasi lancar dengan pilihan anda LLM, kedai vektor, atau pangkalan data

  Q3. Apakah peranan yang dimainkan oleh Llamaindex dalam persediaan ini?

  a. Llamaindex (dahulunya GPT Index) adalah perpustakaan untuk mengintegrasikan LLM dengan sumber data yang pelbagai. Ia mengendalikan tugas seperti parsing dokumen, pengindeksan, dan pertanyaan, membolehkan anda memberi makan kandungan yang tidak berstruktur (PDF, laman web, data JSON, dll.) Ke LLM anda dengan cara yang diperkemas. Apabila dipasangkan dengan Cognee, Llamaindex membantu data struktur sebelum ia ditukar menjadi representasi berasaskan graf.

  Q4. Bagaimanakah graphrag meningkatkan hasil pertanyaan berbanding dengan kain tradisional? a. Rag tradisional membenamkan ketulan teks secara bebas, yang boleh kehilangan konteks global jika maklumat tersebar di pelbagai dokumen. Graphrag menghubungkan konsep berkaitan dalam graf pengetahuan tunggal, yang membolehkan LLM memahami hubungan yang lebih luas. Akibatnya, sistem ini dapat memberikan jawapan yang lebih lengkap dan kaya konteks-terutamanya untuk pertanyaan yang melibatkan maklumat dari pelbagai sumber.

  Media yang ditunjukkan dalam artikel ini tidak dimiliki oleh Analytics Vidhya dan digunakan pada budi bicara penulis.

Atas ialah kandungan terperinci Cognee Llamaindex: Membina saluran paip graphrag yang kuat. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!