混合搜索通过融合BM25与向量检索并利用RRF排序提升召回质量；支持实时Embedding向量化；构建RAG向量知识库索引层；集成Learned Sparse Encoder实现零样本语义检索；通过LangChain联动大模型实现端到端AI搜索。
一、启用混合搜索实现语义与关键词协同召回
混合搜索通过融合稀疏检索（如BM25）与稠密向量检索，兼顾关键词匹配精度与语义相似度理解，显著提升AI搜索的召回质量。Elasticsearch 8.x 版本原生支持倒数排序融合（RRF），可自动加权合并多路检索结果，无需外部重排服务。
1、在索引映射中定义text字段与dense_vector字段，确保同一文档同时包含分词内容和嵌入向量。
2、使用multi_match查询执行关键词检索，同时使用knn查询执行向量相似度检索，二者分别返回top-k结果。
3、将两路结果通过RRF聚合，设置window_size参数为100，确保参与融合的文档数量足够覆盖相关候选集。
4、在_search API请求体中启用track_scores:true，并指定rank: { rrf: {} }，触发内置RRF排序机制。
二、部署自研或第三方Embedding模型进行实时向量化
Elasticsearch允许在写入或查询阶段集成Transformer模型，将原始文本、图像描述等非结构化数据动态转换为向量，避免离线预计算导致的数据陈旧问题。该能力依赖于Elasticsearch的inference pipeline和model endpoint管理功能。
1、通过POST /_inference/text_embedding/
2、创建ingest pipeline，在pipeline中调用inference处理器，指定input_field为"content"，output_field为"embedding"。
3、在索引文档时指定pipeline名称，使每条文档在写入前自动完成向量化并存入dense_vector类型字段。
4、查询时可直接对embedding字段执行knn搜索，也可结合script_score对向量相似度进行自定义加权。
三、构建RAG流程中的向量知识库索引层
在检索增强生成（RAG）架构中，Elasticsearch作为向量知识库索引层，承担文档切片、多粒度嵌入、混合索引构建与低延迟召回的核心职责。其列式存储与BKD树优化保障了十亿级向量下的毫秒响应。
1、对PDF、Word等源文档执行结构化解析，按段落或语义单元进行切片，每片附加source_id与chunk_id元信息。
2、为每个文本块调用Embedding模型生成稠密向量，并同步保留原始文本字段用于BM25检索与答案抽取。
3、在索引设置中启用HNSW图索引，配置m=16、ef_construction=100以平衡建索引速度与查询精度。
4、使用index sorting按embedding字段的近似距离预排序，配合search_after提升深度分页性能。
四、利用Learned Sparse Encoder提升零样本语义检索能力
Learned Sparse Encoder是Elasticsearch内置的机器学习模型，无需标注数据即可生成高维稀疏向量，具备开箱即用的语义理解能力，特别适用于缺乏高质量Embedding训练数据的业务场景。
1、在集群中启用machine_learning权限，并确认xpack.ml.enabled为true。
2、通过PUT /_ltr/_featureset/
3、创建ltr query，在query DSL中嵌套function_score，将稀疏特征得分与BM25基础分线性加权。
4、对未见过的新查询词，模型自动推断其语义扩展项，无需微调或重训练即可获得跨领域泛化能力。
五、集成LangChain与大语言模型实现端到端AI搜索工作流
Elasticsearch可通过REST API无缝接入LangChain等编排框架，在向量召回基础上叠加提示工程、上下文注入与答案生成，构成完整的生成式搜索链路。其文档级安全与字段级权限控制保障敏感数据不出域。
1、在LangChain中配置ElasticSearchRetriever，设置k值为5，指定vector_query字段与filter条件。
2、将召回的文档片段拼接为context，并注入system prompt中，明确要求模型基于context作答且不可虚构。
3、启用Elasticsearch的document-level security，通过role mapping限制用户仅能访问所属部门的知识文档。
4、在查询路径中嵌入query_rewrite节点，调用LLM对原始自然语言问题进行意图识别与关键词补全，提升简短模糊查询的向量化准确性。
