Python轻量级全文检索宜用Whoosh而非Elasticsearch；需定义中文分词schema、过滤二进制文件、用QueryParser安全解析查询，并设limit防内存溢出。
Python 自带的文本处理能力足够支撑轻量级全文检索，不需要引入 Elasticsearch 这类重型方案——但前提是你要避开 str.find() 或正则暴力扫全量文件这种低效写法。
用 whoosh 建索引比手动遍历快一个数量级
直接读文件 + in 判断或 re.search() 是最常见错误：每搜一次都重读全部文件，100 个 1MB 的文本文件就卡住。而 whoosh 把文件内容分词、倒排索引后，查询是 O(1) 查词表 + O(k) 取文档 ID。
- 安装：
pip install whoosh - 建索引前先定义 schema，比如只索引
content字段且支持中文（需搭配jieba）：from whoosh.fields import Schema, TEXT from whoosh.analysis import StemmingAnalyzer import jieba from whoosh.analysis import Tokenizer, Token class ChineseTokenizer(Tokenizer): def __call__(self, value, positions=False, chars=False, keeporiginal=False, removestops=True, start_pos=0, start_char=0, mode='', **kwargs): t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs) seg_list = jieba.cut(value) for w in seg_list: t.original = t.text = w t.boost = 1.0 yield t analyzer = ChineseTokenizer() schema = Schema(path=TEXT(stored=True), content=TEXT(stored=False, analyzer=analyzer)) - 索引时注意路径存为
stored=True，否则查到结果也不知道是哪个文件
os.walk() 遍历目录时过滤二进制文件很关键
直接对所有后缀文件调用 open(..., 'r', encoding='utf-8') 会因编码错误中断；PDF、DOCX、图片等二进制文件更不能硬解。
- 用
imghdr.what()或python-magic判定真实类型（pip install python-magic）：import magic mime = magic.Magic(mime=True) mime_type = mime.from_file(filepath) if not mime_type.startswith('text/'): continue - 或者保守点只处理常见纯文本后缀：
.txt、.py、.md、.log、.json、.xml - 遇到
UnicodeDecodeError别用errors='ignore'粗暴跳过——有些文件是 GBK 编码，得试encoding='gbk'再 fallback
查询时用 QueryParser 而不是手拼字符串
用户输入 "error AND timeout" 或 "file*" 这种带语法的查询，如果自己用 str.replace() 处理，很容易漏掉转义或解析错优先级。
立即学习“Python免费学习笔记（深入）”；
- 正确做法是交给
whoosh.qparser.QueryParser：from whoosh.qparser import QueryParser qp = QueryParser("content", schema=ix.schema) q = qp.parse(user_input) with ix.searcher() as s: results = s.search(q, limit=20) -
limit必须设，否则大索引下search()可能内存爆掉 - 返回的
results是对象列表，取路径要显式调用r['path']，因为content字段默认没存（stored=False）
真正麻烦的是非结构化内容的分词质量——jieba 对代码注释、日志时间戳、URL 的切分经常出错，这时候得写自定义 Filter 预处理，而不是指望换一个 analyzer 就万事大吉。
