讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在PostgreSQL中对文本进行模糊相似度评分_使用LEVENSHTEIN函数

风雪君_2951

风雪君_2951

发布时间:2026-05-10 09:20:26

|

936人浏览过

|

来源于php中文网

原创

必须先安装fuzzystrmatch扩展,否则levenshtein()函数不存在;该函数返回编辑距离(越小越相似),非归一化相似度,不可简单换算百分比,需依业务设定阈值。

如何在postgresql中对文本进行模糊相似度评分_使用levenshtein函数

必须先装扩展,否则levenshtein()根本不存在

PostgreSQL 默认不带 levenshtein() 函数,直接调用会报错 function levenshtein(text, text) does not exist。这不是拼写错误,是扩展没启用。

执行前确认你有数据库 owner 或 superuser 权限:

  • CREATE EXTENSION IF NOT EXISTS fuzzystrmatch;
  • 如果提示权限不足,得找 DBA 执行;普通用户无法绕过
  • 扩展只需运行一次,不是每次查询都要装

levenshtein() 返回的是编辑距离,不是相似度百分比

它算的是“最少改几次字符才能让两个字符串一样”,结果越小越相似,但数值本身没有归一化。比如:

SELECT levenshtein('cat', 'dog'); -- 返回 3  
SELECT levenshtein('cat', 'cats'); -- 返回 1  
SELECT levenshtein('a', 'abcde'); -- 返回 4

这些数字不能直接当“相似度 80%”用。常见误区是拿它除以长度硬算比例,比如 1 - levenshtein(a,b)/GREATEST(LENGTH(a),LENGTH(b)),这在长短差异大时严重失真——'a' 和 'abcde' 算出来是 0.8,显然不合理。

真正该做的是结合业务定阈值:

  • 人名查重:levenshtein(name1, name2) 可能合理
  • 地址比对: 可能只是邮编差一位,得看字段平均长度再调
  • 避免在 WHERE 中对大表全量计算,性能会断崖下跌

子字符串模糊匹配不能直接用levenshtein()

如果你要从长文本(如商品描述)里找近似包含 “posthole” 的行,levenshtein(description, 'posthole') 是错的——它比的是整段 description 和 “posthole” 的距离,不是“description 里有没有接近 posthole 的子串”。

正确思路是滑动窗口切分 + 循环比较,但 PostgreSQL 原生不支持高效实现。实用方案只有两个:

  • 用 pg_trgm 的 % 运算符或 similarity(),它天然适合子串级相似(比如 'posthole' % description)
  • 把长字段预处理成关键词数组,再用 unnest() 拆开逐个比 levenshtein(),但要注意空格、标点清洗
  • 更稳的做法:把模糊匹配逻辑移到应用层(Python/Go),数据库只做等值或前缀索引加速

性能敏感场景必须用levenshtein_less_equal()

当只需要知道“距离是否 ≤3”,而不在乎具体是 1 还是 3 时,levenshtein_less_equal(str1, str2, 3) 比 levenshtein() 快得多。它内部做了剪枝,一旦发现距离超限就立刻返回,不继续算。

注意参数顺序和行为:

  • levenshtein_less_equal('kitten', 'sitting', 2) 返回 3(因为实际是 3 > 2)
  • levenshtein_less_equal('kitten', 'sitting', 3) 返回 3(精确值)
  • 第三个参数为负数时,退化为普通 levenshtein()
  • 别在 JOIN 条件里滥用,仍会触发大量计算

字符集也得盯紧:确保数据库是 UTF8 编码,否则含中文字段时,levenshtein() 按字节算,一个汉字算三步,结果完全不可信。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

相关专题

更多
postgresql常用命令
postgresql常用命令

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、l、c、dt、d table_name、du、i file_name、e和q等。本专题为大家提供postgresql相关的文章、下载、课程内容,供大家免费下载体验。

233

2023.10.10

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4609

2023.11.02

postgresql常用命令有哪些
postgresql常用命令有哪些

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、l、c、dt、d table_name、du、i file_name、e和q等。更详细的postgresql常用命令,大家可以访问下面的文章。

647

2023.11.16

postgresql常用命令介绍
postgresql常用命令介绍

postgresql常用命令有l、d、d5、di、ds、dv、df、dn、db、dg、dp、c、pset、show search_path、ALTER TABLE、INSERT INTO、UPDATE、DELETE FROM、SELECT等。想了解更多postgresql的相关内容,可以阅读本专题下面的文章。

1396

2023.11.20

PostgreSQL性能优化与索引调优实战
PostgreSQL性能优化与索引调优实战

本专题面向后端开发与数据库工程师,深入讲解 PostgreSQL 查询优化原理与索引机制。内容包括执行计划分析、常见索引类型对比、慢查询优化策略、事务隔离级别以及高并发场景下的性能调优技巧。通过实战案例解析,帮助开发者提升数据库响应速度与系统稳定性。

480

2026.02.12

PostgreSQL 性能优化与查询执行计划实战
PostgreSQL 性能优化与查询执行计划实战

本专题深入解析PostgreSQL性能优化核心,聚焦查询执行计划的实战应用。通过EXPLAIN命令精准定位瓶颈,结合索引策略、SQL改写与参数调优,系统提升查询效率。从执行计划解读到性能调优全流程,助你掌握数据库性能诊断与优化实战能力。

150

2026.05.08

PostgreSQL 在 Next.js / Go 全栈架构中的工程化实践
PostgreSQL 在 Next.js / Go 全栈架构中的工程化实践

本文详解如何利用Next.js(搭配Drizzle ORM)与Go后端构建高性能应用,充分发挥PG在JSONB非结构化存储与pgvector向量检索上的优势。从数据建模到Docker容器化部署,打造支持AI时代的“One Database”工程化解决方案。

901

2026.05.08

PostgreSQL高级特性、内核机制与现代数据架构
PostgreSQL高级特性、内核机制与现代数据架构

本专题从MVCC并发控制与WAL日志等内核机制出发,详解JSONB、PostGIS及pgvector等高级特性。探讨如何利用单一引擎支撑关系型、向量及图数据等现代数据架构需求,助您掌握构建高并发、智能化应用的核心技术。

244

2026.05.08

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

40

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn