讲师中心 微信公众号
AI工具推荐 视频效率加速

PostgreSQL 16中如何提高Hash JOIN的工作内存以避免落盘

大枫同学_9396

大枫同学_9396

发布时间:2026-10-18 10:44:41

|

417人浏览过

|

来源于php中文网

原创

确认Hash Join是否真落盘需先查EXPLAIN(ANALYZE,BUFFERS)中Hash节点Disk Usage是否非零,再验pg_stat_progress_hash中hash_probe_total_buckets/hash_buckets_used比值是否超3,同时排除数据倾斜与类型不一致。

postgresql 16中如何提高hash join的工作内存以避免落盘

怎么确认Hash JOIN真在落盘

别一看到慢就调 work_mem,先看证据。执行 EXPLAIN (ANALYZE, BUFFERS),重点找 Hash 节点下的 Disk Usage 字段:如果为 0,说明根本没写磁盘,调内存纯属白忙。再查 pg_stat_progress_hash(PostgreSQL 12+ 支持),算 hash_probe_total_buckets / hash_buckets_used 比值——超过 3 就是桶太稀疏,work_mem 确实小了;低于 2 则大概率是数据倾斜或类型不一致导致的假性溢出。

work_mem该设多大才起作用

work_mem 不是给整个查询用的,而是每个 Hash Join、Sort 或 DISTINCT 操作各自独享的上限。一个查询里有两个 Hash Join,就可能吃掉 2×work_mem;开了并行(max_parallel_workers_per_gather = 4),单个 Hash Join 最多消耗 4×work_mem。

  • 估算下限:对驱动表 Join 键粗略计算 —— (行数 × (键长度 + 8)) × 1.5(1.5 是哈希填充因子)
  • 中小负载建议从 '32MB' 起步;高分析负载可试 '64MB';超过 '128MB' 必须评估并发压力
  • 单位必须写全:'64MB' 有效,'64M' 会被静默转成 64 字节,等于没设

为什么SET了还是落盘

常见静默失败点:

  • 连接池如 pgbouncer 拦截 SET 命令 → 检查其 ignore_startup_parameters 是否屏蔽了 work_mem
  • 同一查询含多个 Hash/Sort/DISTINCT → 总内存是叠加的,但你只给了单个操作额度
  • 用了 SET work_mem = '64MB' 全局改 → 容易引发 OOM;应改用 SET LOCAL work_mem = '64MB',仅当前事务生效
  • shared_buffers 或 effective_cache_size 再大也没用 —— 它们不参与哈希表构建

临时表或改 JOIN 策略有时更有效

如果调大 work_mem 仍无效,大概率是优化器误判或数据问题:

  • JOIN 字段类型不一致(比如 CAST(u.id AS TEXT) = o.user_id)→ 强制转换导致索引失效,优化器硬上 Hash Join,调内存无解
  • 统计信息过期 → 大表增删改超 20% 后未运行 ANALYZE table_name,优化器低估驱动表大小
  • 数据倾斜严重(TOP1 频次 > 平均值 × 10)→ 加内存只是把桶建得更多,IO 更糟;此时该加预过滤或换 Merge Join
  • 小表驱动大表且右表有索引 → SET enable_hashjoin = off 强制走 Nested Loop,反而更快(仅用于诊断)
真正卡住的地方往往不在数值大小,而在“谁在用”和“怎么用”:一个查询里嵌套三个 Hash Join,哪怕每个只吃 32MB,也意味着至少 96MB 实时内存占用;而 pg_stat_progress_hash 只反映主进程状态,worker 落盘了你也看不到。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

相关专题

更多
postgresql常用命令
postgresql常用命令

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、l、c、dt、d table_name、du、i file_name、e和q等。本专题为大家提供postgresql相关的文章、下载、课程内容,供大家免费下载体验。

233

2023.10.10

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4489

2023.11.02

postgresql常用命令有哪些
postgresql常用命令有哪些

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、l、c、dt、d table_name、du、i file_name、e和q等。更详细的postgresql常用命令,大家可以访问下面的文章。

647

2023.11.16

postgresql常用命令介绍
postgresql常用命令介绍

postgresql常用命令有l、d、d5、di、ds、dv、df、dn、db、dg、dp、c、pset、show search_path、ALTER TABLE、INSERT INTO、UPDATE、DELETE FROM、SELECT等。想了解更多postgresql的相关内容,可以阅读本专题下面的文章。

1396

2023.11.20

PostgreSQL性能优化与索引调优实战
PostgreSQL性能优化与索引调优实战

本专题面向后端开发与数据库工程师,深入讲解 PostgreSQL 查询优化原理与索引机制。内容包括执行计划分析、常见索引类型对比、慢查询优化策略、事务隔离级别以及高并发场景下的性能调优技巧。通过实战案例解析,帮助开发者提升数据库响应速度与系统稳定性。

460

2026.02.12

PostgreSQL 性能优化与查询执行计划实战
PostgreSQL 性能优化与查询执行计划实战

本专题深入解析PostgreSQL性能优化核心,聚焦查询执行计划的实战应用。通过EXPLAIN命令精准定位瓶颈,结合索引策略、SQL改写与参数调优,系统提升查询效率。从执行计划解读到性能调优全流程,助你掌握数据库性能诊断与优化实战能力。

150

2026.05.08

PostgreSQL 在 Next.js / Go 全栈架构中的工程化实践
PostgreSQL 在 Next.js / Go 全栈架构中的工程化实践

本文详解如何利用Next.js(搭配Drizzle ORM)与Go后端构建高性能应用,充分发挥PG在JSONB非结构化存储与pgvector向量检索上的优势。从数据建模到Docker容器化部署,打造支持AI时代的“One Database”工程化解决方案。

901

2026.05.08

PostgreSQL高级特性、内核机制与现代数据架构
PostgreSQL高级特性、内核机制与现代数据架构

本专题从MVCC并发控制与WAL日志等内核机制出发,详解JSONB、PostGIS及pgvector等高级特性。探讨如何利用单一引擎支撑关系型、向量及图数据等现代数据架构需求,助您掌握构建高并发、智能化应用的核心技术。

244

2026.05.08

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

20

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn