讲师中心 微信公众号
AI工具推荐 视频效率加速

python中如何实现搜索引擎功能?

夜晨姑娘_7984

夜晨姑娘_7984

发布时间:2025-11-23 17:43:46

|

467人浏览过

|

来源于php中文网

原创

答案是使用Python构建小型搜索引擎需实现倒排索引、查询处理和排序。首先通过re和defaultdict提取文档关键词并建立词到文档的映射;接着解析用户查询,取关键词交集实现AND逻辑;然后按词频打分并排序提升相关性;最后可借助Whoosh或Meilisearch等工具增强功能。核心在于索引、检索与排序协同,细节如分词质量影响效果。

python中如何实现搜索引擎功能?

在Python中实现搜索引擎功能,核心是构建一个能对文本数据进行索引、检索和排序的小型系统。虽然无法与Elasticsearch或Google这类大型引擎相比,但用Python可以快速搭建一个基础但实用的搜索引擎,适合文档检索、网站搜索等场景。

1. 构建倒排索引(Inverted Index)

倒排索引是搜索引擎的核心结构,它记录每个词出现在哪些文档中。

示例:

import re
from collections import defaultdict
<h1>模拟文档库</h1><p>documents = {
1: "python programming language",
2: "python data science",
3: "web development with python",
4: "machine learning in python"
}</p><h1>构建倒排索引</h1><p>index = defaultdict(set)
for doc_id, text in documents.items():
words = re.findall(r'\b\w+\b', text.lower())
for word in words:
index[word].add(doc_id)</p>

这样,index['python'] 就会返回包含该词的所有文档ID。

立即学习“Python免费学习笔记(深入)”;

2. 实现简单查询处理

支持关键词查询,比如用户输入“python data”,返回同时包含这两个词的文档。

def search(query):
    words = re.findall(r'\b\w+\b', query.lower())
    results = None
    for word in words:
        if word in index:
            if results is None:
                results = index[word]
            else:
                results = results & index[word]  # 取交集(AND 查询)
        else:
            return set()  # 任一词不存在则无结果
    return results or set()

调用 search("python data") 会返回 {2},即第二篇文档匹配。

Python Testing
Python Testing

Python 测试速查:运行 pytest、使用 mock/patch、参数化、fixtures、异步、覆盖率测试。

下载

3. 提升相关性:按词频排序

更合理的做法是按匹配词的数量或TF-IDF评分排序。

简单词频打分示例:

def search_ranked(query):
    words = re.findall(r'\b\w+\b', query.lower())
    scores = defaultdict(int)
    for word in words:
        if word in index:
            for doc_id in index[word]:
                scores[doc_id] += 1
    # 按得分降序排列
    return sorted(scores.items(), key=lambda x: x[1], reverse=True)

结果返回 (文档ID, 匹配次数),便于展示最相关的在前面。

4. 使用现有工具简化开发

如果需要更强功能,推荐使用专用库:

  • Whoosh:纯Python实现的全文搜索引擎,支持中文分词、高亮、分页等。
  • Elasticsearch + elasticsearch-py:工业级搜索,适合大数据量。
  • Meilisearch:轻量且支持拼音、模糊搜索,API友好。

例如用Whoosh创建索引:

from whoosh.index import create_in
from whoosh.fields import Schema, TEXT, ID
import os
<p>schema = Schema(title=TEXT(stored=True), content=TEXT)
if not os.path.exists("indexdir"):
os.mkdir("indexdir")
ix = create_in("indexdir", schema)</p><p>writer = ix.writer()
writer.add_document(title="Python Intro", content="Learn python programming")
writer.commit()</p><p>with ix.searcher() as searcher:
from whoosh.query import *
query = Term("content", "python")
results = searcher.search(query)
for r in results:
print(r["title"])</p>

基本上就这些。从零实现可用倒排索引+查询逻辑,适合学习和小项目;实际生产建议用Whoosh或Meilisearch,省时高效。关键是理解索引、查询、排序这三个环节如何协同工作。不复杂但容易忽略细节,比如分词质量和去停用词会影响效果。

相关文章

python速学教程(入门到精通)
python速学教程(入门到精通)

python怎么学习?python怎么入门?python在哪学?python怎么学才快?不用担心,这里为大家提供了python速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

相关专题

更多
什么是搜索引擎
什么是搜索引擎

搜索引擎是一种互联网工具,用于帮助用户在网上查找信息。搜索引擎的目标是提供最准确、最有价值的搜索结果,使用户能够快速找到所需的信息。本专题为大家提供搜索引擎相关的各种文章、以及下载和课程。

2833

2023.08.02

有哪些目录搜索引擎
有哪些目录搜索引擎

目录搜索引擎有Google、Bing、Yahoo、Baidu、DuckDuckGo等。想了解更多目录搜索引擎的相关内容,可以阅读本专题下面的文章。

25988

2023.11.06

搜索引擎营销的主要模式
搜索引擎营销的主要模式

搜索引擎营销的主要模式包括:1. 竞价排名(ppc);2. 搜索引擎优化(seo);3. 本地搜索营销;4. 购物广告;5. 视频广告;6. 展示广告;7. 社交媒体营销;8. 移动广告。想了解更多搜索引擎营销的相关内容,可以阅读本专题下面的文章。

2549

2024.05.20

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

120

2026.09.23

Buffalo框架路由与请求处理实操指南
Buffalo框架路由与请求处理实操指南

本专题讲解Buffalo框架路由与请求处理机制,涵盖路由注册与分组、资源路由、Handler编写规范、Context上下文方法、参数绑定、中间件编写挂载、Session与Cookie读写、Flash消息及错误页面定制方法。

60

2026.09.23

Buffalo框架零基础入门教程
Buffalo框架零基础入门教程

本专题整理Buffalo框架入门内容,涵盖Go环境准备、buffalo CLI安装、新项目生成、目录结构说明、dev热加载启动、数据库连接配置与常见报错排查,帮助新手按约定优于配置的思路跑通第一个Buffalo框架应用。

40

2026.09.23

Conan创建软件包配方指南
Conan创建软件包配方指南

本专题介绍通过conanfile.py创建软件包的方法,讲解包名、版本、依赖和构建设置等基础信息,以及source、build、package、package_info等常用方法的作用及编写思路。

40

2026.09.22

Conan二进制包配置指南
Conan二进制包配置指南

本专题介绍Conan根据操作系统、编译器、架构和构建类型生成二进制包的方法,讲解Profile、Settings、Options及Package ID的作用,帮助管理不同平台和编译环境下的包版本。

40

2026.09.22

Conan私有仓库搭建教程
Conan私有仓库搭建教程

本专题系统的讲解Conan私有仓库的搭建流程,涵盖仓库服务部署、存储目录配置、用户认证、权限划分和远程地址添加,并介绍内部C++依赖包的上传、下载及版本维护方法。

40

2026.09.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn