讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

updream

一键生成高质量推广成片

Laper
Laper

剧本策划到成片协作

SoundView
SoundView

字幕擦除翻译、配音口型同步

如何在PostgreSQL 16中利用并行查询加速大表GROUP BY?

大墨姑娘_3250

大墨姑娘_3250

发布时间:2026-11-18 10:28:26

|

315人浏览过

|

来源于php中文网

原创

PostgreSQL 16中真正可并行的GROUP BY聚合需满足Partial Mode:sum()、max()/min()、count(*)(非DISTINCT)、array_agg()、string_agg()(无ORDER BY)、jsonb_agg()等;count(DISTINCT)、带ORDER BY的string_agg/array_agg、volatile函数均不支持。

如何在postgresql 16中利用并行查询加速大表group by?

并行 GROUP BY 在 PostgreSQL 16 中不会自动生效,必须同时满足聚合函数支持、成本阈值达标、无禁止操作这三项条件,否则 EXPLAIN 里只会看到 GroupAggregate。

哪些 GROUP BY 聚合能真正并行?

只有具备 Partial Mode(可拆分+可合并)能力的聚合函数才可能触发并行。PostgreSQL 16 明确支持的包括:

  • sum()、count(*)、max()、min() —— 但 count(distinct col) 不行
  • array_agg(col) 和 string_agg(col, ',') —— 必须不带 ORDER BY 子句
  • jsonb_agg(col)、json_agg(col) —— 同样禁用 ORDER BY
  • 所有聚合字段不能含 volatile 函数,例如 string_agg(now()::text, ',') 会直接关闭并行

为什么 EXPLAIN 看不到 Gather 节点?

常见原因不是配置没开,而是优化器主动放弃了并行路径:

  • 表太小:默认 min_parallel_table_scan_size = 8MB,若扫描数据量低于该值,直接跳过并行评估
  • cost 压制:默认 parallel_setup_cost = 10 和 parallel_tuple_cost = 0.1 过高,导致并行计划预估成本 > 串行
  • 隐式禁止:查询中含 FOR UPDATE、窗口函数、或任何 volatile 函数(如 random()、clock_timestamp())
  • 索引干扰:如果 GROUP BY 列上有高效索引,优化器可能选 Index Scan + GroupAggregate,绕过并行扫描路径

怎么让并行 GROUP BY 实际跑起来?

关键不是全局调参,而是在会话级精准干预:

  • 先确认硬件资源:设 SET max_parallel_workers_per_gather = 4;(不超过物理核心数)
  • 压低门槛:SET min_parallel_table_scan_size = 1MB;(仅测试用;生产建议按实际表大小设为 16–64MB)
  • 调低成本:SET parallel_setup_cost = 2; 和 SET parallel_tuple_cost = 0.01;
  • 确保内存:每个 worker 独立申请 work_mem,总消耗 ≈ (1 + max_parallel_workers_per_gather) × work_mem;设太小会退化为磁盘排序
  • 验证是否生效:用 EXPLAIN (ANALYZE, VERBOSE) 查看输出中是否有 Gather 或 Gather Merge 节点,且子节点含 Partial Aggregate

在 plpgsql 函数里写 GROUP BY 会影响并行吗?

函数封装本身不阻止并行,但内部写法极易触发 planner 的保守策略:

  • RETURN QUERY SELECT ... GROUP BY 中的查询仍走普通代价估算,但若前面有 PERFORM 或 SELECT ... INTO,可能让 planner 提前剪枝,并行候选路径被跳过
  • 函数内使用 SET LOCAL 修改并行参数是有效的,但要注意这些设置只对当前 query 生效,不影响后续语句
  • 最稳妥做法:把需并行的 GROUP BY 查询单独拎出来执行,避免嵌套在复杂控制流中;函数只做结果包装或后处理

最容易被忽略的是:并行 GROUP BY 的收益高度依赖数据分布和聚合粒度。如果 GROUP BY 后只剩几行,或 key 极度倾斜(比如 99% 数据落在同一个 region),即使强制并行,Gather 后的 merge 阶段也会成为瓶颈——这时反而是串行更快。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
postgresql常用命令
postgresql常用命令

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、l、c、dt、d table_name、du、i file_name、e和q等。本专题为大家提供postgresql相关的文章、下载、课程内容,供大家免费下载体验。

233

2023.10.10

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

5029

2023.11.02

postgresql常用命令有哪些
postgresql常用命令有哪些

postgresql常用命令psql、createdb、dropdb、createuser、dropuser、l、c、dt、d table_name、du、i file_name、e和q等。更详细的postgresql常用命令,大家可以访问下面的文章。

647

2023.11.16

postgresql常用命令介绍
postgresql常用命令介绍

postgresql常用命令有l、d、d5、di、ds、dv、df、dn、db、dg、dp、c、pset、show search_path、ALTER TABLE、INSERT INTO、UPDATE、DELETE FROM、SELECT等。想了解更多postgresql的相关内容,可以阅读本专题下面的文章。

1396

2023.11.20

PostgreSQL性能优化与索引调优实战
PostgreSQL性能优化与索引调优实战

本专题面向后端开发与数据库工程师,深入讲解 PostgreSQL 查询优化原理与索引机制。内容包括执行计划分析、常见索引类型对比、慢查询优化策略、事务隔离级别以及高并发场景下的性能调优技巧。通过实战案例解析,帮助开发者提升数据库响应速度与系统稳定性。

500

2026.02.12

PostgreSQL 性能优化与查询执行计划实战
PostgreSQL 性能优化与查询执行计划实战

本专题深入解析PostgreSQL性能优化核心,聚焦查询执行计划的实战应用。通过EXPLAIN命令精准定位瓶颈,结合索引策略、SQL改写与参数调优,系统提升查询效率。从执行计划解读到性能调优全流程,助你掌握数据库性能诊断与优化实战能力。

170

2026.05.08

PostgreSQL 在 Next.js / Go 全栈架构中的工程化实践
PostgreSQL 在 Next.js / Go 全栈架构中的工程化实践

本文详解如何利用Next.js(搭配Drizzle ORM)与Go后端构建高性能应用,充分发挥PG在JSONB非结构化存储与pgvector向量检索上的优势。从数据建模到Docker容器化部署,打造支持AI时代的“One Database”工程化解决方案。

921

2026.05.08

PostgreSQL高级特性、内核机制与现代数据架构
PostgreSQL高级特性、内核机制与现代数据架构

本专题从MVCC并发控制与WAL日志等内核机制出发,详解JSONB、PostGIS及pgvector等高级特性。探讨如何利用单一引擎支撑关系型、向量及图数据等现代数据架构需求,助您掌握构建高并发、智能化应用的核心技术。

264

2026.05.08

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

0

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn