讲师中心 微信公众号
AI工具推荐 视频效率加速

如何评估表是否有必要转换为分区表_Segment大小、并发DML与查询维度的权衡

梦枫吖_8406

梦枫吖_8406

发布时间:2026-04-04 12:55:34

|

290人浏览过

|

来源于php中文网

原创

分区表是否值得建取决于写入热点、查询模式和运维成本三方面平衡,而非单纯看表大小;需结合pg_total_relation_size、查询频次及剪枝效果综合判断。

分区表到底值不值得建?先看 pg_total_relation_size 和查询频次

一张表要不要分区,不是看它“大不大”,而是看它“胖不胖”+“动不动”。pg_total_relation_size 返回的字节数只是表体积的静态快照,真正关键的是:这体积里有多少是历史冷数据、有多少是每天被 insert/update 频繁修改的热区、以及查询是否总带时间/状态等高选择性过滤条件。

实操建议:

  • 如果 pg_total_relation_size('orders') 超过 50GB,但 90% 查询只查最近 7 天数据,且 WHERE created_at >= '2024-06-01' 能命中索引,那分区大概率划算
  • 如果表才 8GB,但每天有 200+ 并发 UPDATE 修改随机行,且查询几乎不带分区键过滤(比如只按 user_id 查),加分区反而拖慢写入、增加 planner 开销
  • 用 EXPLAIN (ANALYZE, BUFFERS) 对比分区前后的执行计划,重点看 Seq Scan 是否减少、Buffers 是否显著下降——别只信“扫描行数”

并发 DML 下,分区键选错等于自废索引

PostgreSQL 分区表本身不自动优化写入,并发 INSERT 或 UPDATE 的性能瓶颈往往卡在分区路由和锁竞争上。选错分区键会让所有写操作挤在同一个子表里,甚至引发 tuple concurrently updated 错误。

常见错误现象:

  • 按 created_at 按月分区,但业务写入集中在当月最后一天,导致当月分区成为热点
  • 用 user_id % 100 做哈希分区,但 20% 的用户贡献了 80% 的订单,部分子表膨胀严重、其余空闲
  • UPDATE 语句更新分区键字段(如 SET created_at = now()),触发跨分区移动,锁住两个子表 + 触发全量行复制

实操建议:

  • 写多读少场景,优先选能天然打散写入的字段,比如 order_id(UUID 或递增序列)、tenant_id,而非时间戳
  • 必须用时间分区时,把粒度调细一点(比如按天而非按月),并配合 pg_partman 自动预建未来 3–7 天的分区,避免 INSERT 时动态创建锁表
  • 禁止在 UPDATE 中修改分区键;若业务真需要改,先 DELETE 再 INSERT 到新分区,显式控制生命周期

查询维度和分区剪枝失效的三种典型情况

分区剪枝(partition pruning)不是魔法,它依赖查询条件能被 planner 静态推导出可排除的分区。很多看似合理的 WHERE 条件,实际根本剪不掉。

使用场景与参数差异:

  • 用 WHERE created_at BETWEEN $1 AND $2 通常能剪枝;但换成 WHERE created_at >= current_date - INTERVAL '7 days',某些 PG 版本(如 12 之前)会因无法确定运行时值而放弃剪枝
  • JOIN 中用分区表做驱动表,被驱动表字段参与分区键计算(如 ON o.created_at = d.report_date),planner 无法提前判断 d.report_date 范围,剪枝失效
  • 查询中混用 OR 条件(如 WHERE status = 'paid' OR created_at > '2024-01-01'),即使后者能剪枝,整个条件也可能让 planner 退化为全分区扫描

实操建议:

  • 在生产 SQL 中避免对分区键使用函数或表达式,宁可用 WHERE created_at >= '2024-06-01'::date 而非 WHERE date(created_at) >= '2024-06-01'
  • 用 EXPLAIN 看执行计划里是否出现 Partition Filter 行,没有就说明剪枝失败——别靠感觉
  • 对复杂查询,考虑用 UNION ALL 显式指定要查的几个分区,比依赖 planner 更可控(尤其在报表类场景)

Segment 大小不是越小越好,100MB 是个经验拐点

很多人一上来就想把分区切得极细(比如每小时一个分区),结果发现 vacuum 变慢、catalog 膨胀、planner 解析计划变卡。PostgreSQL 对子表数量敏感,不是越多越好。

性能与兼容性影响:

  • 单个分区物理大小低于 100MB 时,I/O 效率开始下降,因为磁盘顺序读优势减弱,随机访问占比上升
  • 超过 500 个子表后,VACUUM 单次耗时明显增长(每个子表都要单独扫描 FSM、更新 relfrozenxid),可能拖垮维护窗口
  • 某些旧版客户端或 ORM(如老版本 Django + psycopg2)在处理大量子表时,元数据查询(pg_inherits)响应变慢,甚至超时

实操建议:

  • 目标单分区大小控制在 100MB–2GB 之间,具体看数据写入速率:日增 500MB 就按天分区,日增 5GB 就按半天或按周
  • 用 SELECT pg_size_pretty(pg_total_relation_size(oid)) FROM pg_class WHERE relkind = 'r' AND relname ~ '^orders_p[0-9]{8}$' 快速检查各分区大小分布
  • 上线前跑一次 EXPLAIN + VACUUM ANALYZE,确认分区数量增长到预期上限时,planner 仍能在 100ms 内生成计划

分区设计最麻烦的地方不在语法,而在你得同时盯着写入热点、查询模式、运维成本三根线——哪根松了,另外两根就容易崩。尤其是 pg_partman 自动建分区时,默认参数常忽略你的实际 DML 压力,得手动调。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

4383

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

911

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1149

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

6301

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

3123

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

6280

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

8521

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1150

2024.04.29

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

80

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn