讲师中心 微信公众号
AI工具推荐 视频效率加速

如何解决MySQL 5.7中由于分区表过多导致的内存消耗_合理规划分区数量与类型

梦杰姑娘_8841

梦杰姑娘_8841

发布时间:2026-05-19 19:11:59

|

1033人浏览过

|

来源于php中文网

原创

MySQL分区数上限为128个,超限会触发open_files_limit导致启动失败;RANGE分区单区不宜超1500万行,HASH分区数应为16/32/64且不超64;LIST分区单区枚举值不超过32个。

如何解决mysql 5.7中由于分区表过多导致的内存消耗_合理规划分区数量与类型

分区数量超过128个会直接触发 open_files_limit 限制

MySQL 5.7 对每个分区都持有一个独立的 .ibd 文件句柄,分区数一多,open_files_limit 很快就耗尽。现象是启动失败或报错 ERROR 23 (HY000): Out of resources when opening file,尤其在 table_open_cache 值偏高时更明显。

实操建议:

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • 硬性上限卡死在 128 个分区以内——不是“建议”,是避免启动失败的底线
  • 若当前已有超限分区表,别急着删数据,先用 ALTER TABLE ... REMOVE PARTITIONING 退化为普通表,再按需重建
  • 检查实际使用:运行 SELECT COUNT(*) FROM information_schema.PARTITIONS WHERE TABLE_SCHEMA = 'your_db' AND TABLE_NAME = 'your_table'; 确认真实分区数
  • SSD 环境下也别盲目堆到 128,NVMe 上压到 96 更稳妥,留余量给其他表和系统文件

RANGE 分区单分区超 1500 万行会导致 B+ 树层级膨胀

时间类 RANGE 分区(比如按月/按天)最容易踩这个坑:初期数据少,分区建得细;后期单分区暴涨,查询反而变慢。因为 InnoDB 的 B+ 树页层级随数据量增加,超过 1500 万行后,深度从 3 层涨到 4 层,每次索引查找多一次磁盘 IO。

实操建议:

  • OLTP 场景严格控制在 200–500 万行/分区;OLAP 可放宽到 500–1000 万,但绝不可碰 2000 万红线
  • 已有超大分区,优先用 ALTER TABLE ... REORGANIZE PARTITION 合并,而不是 DROP + ADD——后者会锁全表且重建索引
  • 按天分区的表,如果日均写入 20 万行,三个月就逼近临界点,这时该切到按周或按月
  • EXPLAIN PARTITIONS 必须定期跑,确认查询是否真的只打到目标分区,避免隐式全分区扫描

HASH 分区数不是越多越好,必须是 2 的幂次且 ≤64

HASH 分区靠取模路由,分区数非 2 的幂次会导致数据倾斜。比如设 PARTITIONS 30,实际分布严重不均,某些分区挤占 40% 数据,其他空转。同时,HASH 分区数超过 64 后,哈希冲突概率陡增,INSERT 性能不升反降。

实操建议:

  • 固定用 16、32、64 这三个值,别试 48 或 56
  • 用户 ID 类整型主键,优先选 PARTITIONS 64;若总数据量不到 5000 万,32 更省内存
  • 别对字符串字段直接 HASH——先用 CRC32() 或 MURMUR_HASH() 转成整型再分区,否则效率极低
  • 监控 INFORMATION_SCHEMA.PARTITIONS 中的 TABLE_ROWS,任一分区偏差超 ±25%,就要重估分区数

LIST 分区枚举值过多会拖慢元数据加载

LIST 分区依赖显式值映射(VALUES IN (1,2,3,...)),当一个分区里塞了上百个 province_id 或 status_code,MySQL 每次打开表都要解析整个枚举列表,导致 table_definition_cache 占用飙升,冷启动变慢。

实操建议:

  • 单个 LIST 分区的枚举值别超 32 个;超了就拆成多个分区,比如 p_east_1 和 p_east_2
  • 避免用动态生成的枚举(如时间戳、UUID 片段),LIST 只适合稳定、有限、业务可归类的维度
  • 如果枚举集合会频繁增删,改用 RANGE 或 HASH + 查找表(lookup table)替代 LIST
  • 用 SHOW CREATE TABLE 检查 DDL,确认没有类似 VALUES IN (1,2,3,...,256) 这种长列表直写
真正难处理的不是分区逻辑本身,而是分区与 buffer pool、open_files_limit、table_definition_cache 这三者的耦合关系——调一个参数,另外两个可能立刻告警。动手前务必先查 SHOW VARIABLES LIKE '%open_files%'; 和 SHOW STATUS LIKE 'Open_tables';,再决定动不动分区。

热门AI工具

更多
Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2373

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

1439

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

855

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3332

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

5708

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

1239

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5971

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

5182

2023.08.14

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

0

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 192人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn