讲师中心 微信公众号
AI工具推荐 视频效率加速

如何优化包含大量UNION ALL的存储过程查询_通过合并中间表减少IO开销

陌枫大大_4881

陌枫大大_4881

发布时间:2026-05-25 08:29:04

|

880人浏览过

|

来源于php中文网

原创

UNION ALL过多会因内存不足触发磁盘临时表导致IO暴增;应改用分片INSERT INTO ... SELECT写入带主键的中间表,并确保各子查询显式下推WHERE条件。

如何优化包含大量union all的存储过程查询_通过合并中间表减少io开销

为什么UNION ALL太多会导致IO暴增

UNION ALL本身不排序、不去重,但MySQL仍需把每个子查询结果暂存到临时表再合并。当子查询超过5个、单个结果集超10万行时,tmp_table_size和max_heap_table_size很容易被撑爆,触发磁盘临时表(On disk temporary table),IO直接翻倍。这不是语法问题,是内存管理机制的硬限制。

用INSERT INTO ... SELECT替代UNION ALL链

把多个SELECT拆成独立语句写入同一张中间表,能绕过UNION ALL的统一缓冲区调度,让每个INSERT走自己的执行路径,减少锁竞争和内存争抢。

  • 先建带主键/唯一索引的中间表,避免后续去重开销:CREATE TABLE tmp_merged (id BIGINT PRIMARY KEY, name VARCHAR(64), ts DATETIME)
  • 每个INSERT加IGNORE或ON DUPLICATE KEY UPDATE处理主键冲突,比UNION ALL后手工去重更可控
  • 批量插入时用INSERT INTO ... SELECT ... LIMIT 10000分片,防止单次事务过大卡住binlog
  • 确认innodb_buffer_pool_size足够——中间表写入频繁时,它比tmp_table_size影响更大

UNION ALL子查询必须各自带WHERE下推

外部WHERE条件不会自动下推到每个SELECT里。比如SELECT * FROM t1 UNION ALL SELECT * FROM t2 WHERE dt > '2026-01-01',t1那部分仍会全表扫。

  • 每个子查询都显式加上相同过滤条件:SELECT * FROM t1 WHERE dt > '2026-01-01' UNION ALL SELECT * FROM t2 WHERE dt > '2026-01-01'
  • 如果条件含参数(如@start_dt),确保每个子查询都引用该变量,别漏掉
  • 对日期字段优先用BETWEEN而非>= AND ,MySQL 8.0+对前者有更好的范围估算

临时表字段类型不一致会隐式转换拖慢速度

UNION ALL要求所有子查询列数、顺序、数据类型严格一致。一旦某张表的status是TINYINT,另一张是VARCHAR(10),MySQL会把整列转成VARCHAR,不仅增大临时表体积,还让索引失效。

  • 建中间表前,用SELECT ... UNION ALL SELECT ... LIMIT 0查出各列实际类型,手动对齐
  • 数值类字段统一用INT或BIGINT,避免DECIMAL混入;字符串统一VARCHAR并设合理长度
  • 时间字段全部用DATETIME(3),别有的用TIMESTAMP有的用DATE

真正卡住性能的往往不是UNION ALL语法本身,而是中间结果在内存与磁盘之间反复倒腾,以及字段类型隐式转换带来的索引失效——这两点在存储过程中最容易被忽略。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

相关专题

更多
c语言union的用法
c语言union的用法

c语言union的用法是一种特殊的数据类型,它允许在相同的内存位置存储不同的数据类型,union的使用可以帮助我们节省内存空间,并且可以方便地在不同的数据类型之间进行转换。使用union时需要注意对应的成员是有效的,并且只能同时访问一个成员。本专题为大家提供union相关的文章、下载、课程内容,供大家免费下载体验。

809

2023.09.27

Docker Desktop怎么设置端口映射
Docker Desktop怎么设置端口映射

本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。

0

2026.11.03

Docker Desktop镜像构建教程
Docker Desktop镜像构建教程

想使用Docker Desktop将本地项目构建成Docker镜像?本专题围绕镜像构建的实际操作展开,介绍Dockerfile编写、构建命令使用、镜像标签设置和构建日志查看等内容,同时整理镜像无法生成、依赖安装失败及构建缓存异常等问题的排查思路。

0

2026.11.03

Docker Desktop容器创建指南
Docker Desktop容器创建指南

本专题聚焦Docker Desktop容器创建与运行配置,介绍通过本地镜像或远程镜像创建容器的方法,以及容器启动、终端访问、日志查看和基础管理等操作。针对端口冲突、参数配置不当、容器无法启动等情况,也整理了相应的排查方向。

0

2026.11.03

Tailwind CSS 如何制作导航栏和卡片
Tailwind CSS 如何制作导航栏和卡片

用 Tailwind CSS 制作导航栏和卡片,可先搭建语义化结构,再组合 Flex、Grid、间距、圆角与阴影类。这里整理横向导航、移动端菜单、卡片网格及悬停效果的相关文章,帮助你把常见页面组件做得清晰且适配不同屏幕。

0

2026.11.03

Tailwind CSS 响应式布局怎么写
Tailwind CSS 响应式布局怎么写

Tailwind CSS 响应式布局通常从移动端样式写起,再用 sm、md、lg 等前缀调整不同屏幕宽度下的网格、间距和导航。本专题整理断点配置、Grid 与 Flex 自适应布局及常见溢出问题,帮助你逐步完成多设备适配。

0

2026.11.03

Tailwind CSS 常用类名怎么记
Tailwind CSS 常用类名怎么记

Tailwind CSS 类名很多,先按布局、间距、文字、颜色和状态分组记忆,再通过官方文档检索具体写法。本专题结合类名排序、动态拼接失效、自定义实用类等问题,帮助你建立常用类名的速查方法。

0

2026.11.03

码上飞入口地址合集
码上飞入口地址合集

本专题汇总了码上飞(CodeFlying)的官方入口地址合集,涵盖官网主站及网页版在线使用入口,支持注册登录后直接在线体验零代码AI应用生成。同时整理了APP端下载渠道与小程序入口,助你快速访问平台,通过自然语言描述需求即可生成应用、小程序或网站。

0

2026.11.03

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

20

2026.11.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn