讲师中心 微信公众号
AI工具推荐 视频效率加速

LangChain 中使用 Chroma 检索时无法获取源文档的解决方案

陌丽君_6683

陌丽君_6683

发布时间:2026-01-05 20:09:35

|

1006人浏览过

|

来源于php中文网

原创

LangChain 中使用 Chroma 检索时无法获取源文档的解决方案

本文详解 langchain 结合 pypdfloader、openaiembeddings 与 chroma 构建 rag 系统时“检索返回空源文档”的常见原因及完整修复流程,涵盖文档加载、分块、向量化与持久化各关键环节。

在 LangChain 中构建基于 PDF 的检索增强生成(RAG)系统时,一个典型痛点是:retriever.get_relevant_documents(query) 能成功返回 Document 对象列表,但 len(docs) 却为 0 —— 表明检索器未实际加载或识别任何源文档。这通常并非模型或 API 问题,而是数据流水线中的关键步骤被遗漏或错配所致。

根本原因往往在于:Chroma.from_documents() 必须接收已加载并分块后的 Document 对象(即含 page_content 和 metadata 的 LangChain Document 实例),而不能直接传入原始文本字符串或未经处理的文件路径。若跳过 loader.load() 或误用 split_documents(),会导致 texts 为空或结构不合法,进而使 Chroma 库无法正确索引元数据(如来源文件路径、页码等),最终 get_relevant_documents() 返回空列表。

✅ 正确且完整的端到端代码如下:

Openai Whisper 1.0.0
Openai Whisper 1.0.0

使用 Whisper CLI 进行本地语音转文字(无需 API 密钥)

下载
from langchain.document_loaders import DirectoryLoader, PyPDFLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma

# 1. 加载所有 PDF 文档(必须显式调用 .load())
loader = DirectoryLoader('./files/', glob='*.pdf', loader_cls=PyPDFLoader)
documents = loader.load()  # ⚠️ 关键:不可省略!返回 Document 列表

# 2. 分块(保持 Document 结构,自动继承 metadata)
text_splitter = CharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200,
    separator="\n"
)
texts = text_splitter.split_documents(documents)  # ✅ 输入是 Document,输出仍是 Document

# 3. 创建嵌入与向量库(持久化)
embeddings = OpenAIEmbeddings()
persist_directory = "./chroma_db"
docsearch = Chroma.from_documents(
    texts, 
    embeddings, 
    persist_directory=persist_directory
)

# 4. 加载并检索(确保使用同一 embedding_function)
docsearch = Chroma(persist_directory=persist_directory, embedding_function=embeddings)
retriever = docsearch.as_retriever(search_kwargs={"k": 5})
docs = retriever.get_relevant_documents("你的查询问题")
print(f"检索到 {len(docs)} 个相关文档")
for i, doc in enumerate(docs):
    print(f"[{i+1}] 来源: {doc.metadata.get('source', 'unknown')}, 页码: {doc.metadata.get('page', 'N/A')}")

? 关键注意事项:

  • DirectoryLoader.load() 必须显式调用,否则 documents 为 DirectoryLoader 对象而非文档列表;
  • split_documents()(非 split_text())才能保留 Document 的 metadata(含 source, page 等),这对溯源至关重要;
  • 初始化 Chroma 时,embedding_function 参数必须与创建时完全一致(包括模型名称、API key 环境、版本),否则向量维度不匹配将导致静默失败;
  • 若仍返回空,请检查 ./files/ 目录是否存在 PDF 文件,以及 persist_directory 是否被其他进程占用或权限受限;
  • 推荐首次运行后打印 texts[0] 查看其结构,确认 page_content 和 metadata 字段存在且非空。

通过严格遵循上述流程,即可确保源文档被正确加载、分块、嵌入并持久化,从而让 get_relevant_documents() 稳定返回带完整元数据的 Document 对象,真正支撑可解释、可追溯的 RAG 应用。

热门AI工具

更多
立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

相关专题

更多
js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1818

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2864

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6204

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

6009

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

7614

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

11374

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

5859

2025.07.29

c++字符串相关教程
c++字符串相关教程

本专题整合了c++字符串相关教程,阅读专题下面的文章了解更多详细内容。

6447

2025.08.07

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

40

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn