讲师中心 微信公众号
AI工具推荐 视频效率加速

INSERT INTO SELECT 从大表复制时的锁表与 binlog 优化

千枫大大_8649

千枫大大_8649

发布时间:2026-01-28 21:35:26

|

625人浏览过

|

来源于php中文网

原创

INSERT INTO SELECT 是否锁全表取决于存储引擎和隔离级别:InnoDB 默认一致性读不锁源表,但无索引扫描可能触发间隙锁;MyISAM 直接表级读锁;STATEMENT 格式要求确定性,否则报错,推荐改用 ROW 格式。

insert into select 从大表复制时的锁表与 binlog 优化

INSERT INTO SELECT 会锁全表吗?取决于存储引擎和隔离级别

在 InnoDB 下,INSERT INTO ... SELECT 默认不会锁源表(SELECT 部分)的全表,但行为受事务隔离级别和查询是否走索引影响:
- READ COMMITTED 或 REPEATABLE READ 下,源表上加的是**一致性读(consistent read)**,不加锁,除非显式加 FOR UPDATE 或 LOCK IN SHARE MODE;
- 如果 SELECT 扫描无索引字段或使用 WHERE 条件命中率低,可能触发大量间隙锁或临键锁(尤其在 REPEATABLE READ);
- MyISAM 会直接对源表加**表级读锁**,阻塞所有写操作,复制大表时务必避免。

binlog_format = STATEMENT 会导致 INSERT INTO SELECT 失败

当 binlog_format = STATEMENT 时,MySQL 要求 SELECT 子句必须是**确定性(deterministic)** 的,否则主从不一致风险高,会直接报错:
- 常见触发场景:含 UUID()、NOW()、RAND()、用户变量(@var)、子查询中含非确定函数;
- 错误信息形如:ERROR 1665 (HY000): Cannot execute statement: binlogging impossible since the statement is non-deterministic;
- 解决方式不是改 SQL,而是切换为 binlog_format = ROW(推荐)或 MIXED —— ROW 模式下只记录行变更,完全绕过确定性校验。

大表复制卡顿、OOM 或主从延迟的常见诱因

即使语法合法、锁也可控,实际执行仍可能崩:
- INSERT INTO ... SELECT 是单事务操作,若复制 1 亿行,事务日志(innodb_log_file_size)、回滚段(innodb_undo_log_truncate)和内存(sort_buffer_size、join_buffer_size)都可能被撑爆;
- ROW 格式 binlog 体积激增,尤其更新宽表或含大字段(TEXT/BLOB),主库磁盘 IO 和网络带宽易成瓶颈;
- 从库重放时,单事务无法并行(即使开了 slave_parallel_type = LOGICAL_CLOCK),导致严重延迟;
- 更稳妥的做法是拆成小批次:INSERT INTO ... SELECT ... WHERE id BETWEEN ? AND ?,配合 ORDER BY id 和自增主键分片。

替代方案比硬扛 INSERT INTO SELECT 更可靠

真正处理 TB 级数据迁移时,原生命令往往不是最优解:
- 使用 mysqldump --single-transaction --skip-triggers --no-create-info 导出 + mysqlimport 或 LOAD DATA INFILE,支持分块、压缩、跳过约束检查;
- 对在线业务,优先考虑 pt-archiver:自动分批、限速、支持 --where 过滤、可干掉源表旧数据;
- 若目标是构建新表结构,用 CREATE TABLE ... AS SELECT 更轻量(不走 binlog 写入逻辑,但注意它不复制索引/约束/注释);
- 所有方案上线前,务必在从库或测试实例跑 EXPLAIN FORMAT=JSON 看执行计划,确认 SELECT 部分走了索引且没有 Using temporary / Using filesort。

真正难的不是写出能跑的语句,而是预判它在 200GB 表、从库延迟已到 3 小时、DBA 正在查慢日志时的表现。锁和 binlog 只是表象,背后是事务粒度、IO 路径和复制拓扑的耦合。

jm-jsjkxyjs02-pzl-803
jm-jsjkxyjs02-pzl-803

查询全球任意城市的实时天气和未来天气预报

下载

热门AI工具

更多
讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

3823

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

811

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

989

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

5641

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2603

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

5620

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

7381

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1010

2024.04.29

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

120

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 176人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 279人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn