讲师中心 微信公众号
AI工具推荐 视频效率加速

mysql如何快速导入千万条数据_利用LoadData命令与关闭索引

夜婷姑娘_3876

夜婷姑娘_3876

发布时间:2026-05-27 07:21:26

|

310人浏览过

|

来源于php中文网

原创

真正提速的关键是删非主键索引、关闭外键和唯一性检查,因DISABLE KEYS对InnoDB无效;必须执行SET FOREIGN_KEY_CHECKS=0、SET UNIQUE_CHECKS=0、DROP INDEX,再LOAD DATA,最后重建索引。

mysql如何快速导入千万条数据_利用loaddata命令与关闭索引

MySQL 导入千万级数据,光用 LOAD DATA INFILE 不够快;真正提速的关键是:InnoDB 表必须删索引 + 关检查,而不是幻想 DISABLE KEYS 能起作用。

为什么 ALTER TABLE ... DISABLE KEYS 对 InnoDB 完全无效

很多人照着 MyISAM 的优化方案直接套用到 InnoDB 表上,执行 ALTER TABLE t1 DISABLE KEYS 后发现导入速度毫无变化——因为这个命令在 InnoDB 下是空操作,既不报错也不生效。

  • DISABLE KEYS / ENABLE KEYS 是 MyISAM 特有的机制,InnoDB 根本不识别它
  • 执行后查 SHOW PROCESSLIST 或监控 information_schema.INNODB_METRICS 中的 index_page_splits,会发现索引页仍在持续分裂,说明索引实时更新没停
  • 误以为“已优化”反而耽误真正该做的动作:删非主键索引、关约束检查

InnoDB 表导入前必须做的三件事

对 InnoDB,想让 LOAD DATA INFILE 接近理论最快速度,这三步缺一不可,且顺序不能乱:

kashen-mysql DDLtoExcel
kashen-mysql DDLtoExcel

解析 MySQL 8.0 的 DDL 脚本,并将表结构导出为 Excel 格式。适用于用户需将 MySQL 的 `CREATE TABLE` 语句转换为结构化的 Excel 文件场景,导出内容包含字段名、数据类型、长度及精度等信息。支持多张表的批量处理,每张表对应 Excel 中的一个独立工作表。适用于数据库文档编写、数据字典生成及模式分析等任务。

下载
  • 执行 SET FOREIGN_KEY_CHECKS = 0 和 SET UNIQUE_CHECKS = 0 —— 否则每行都会触发唯一性校验和外键查找,而你刚删了索引,这些查找会退化成全表扫描
  • 用 DROP INDEX idx_name ON t1 删除所有非主键索引(主键不能删,但可临时 DROP PRIMARY KEY 再重建,仅当主键不是业务关键时谨慎考虑)
  • 提前用 SHOW CREATE TABLE t1 备份建表语句,把索引定义单独记下来,别指望靠记忆重建

LOAD DATA LOCAL INFILE 的实际坑点与写法

本地文件导入最常用,但也最容易卡在权限和格式上:

  • 服务端必须开启 local_infile=ON(SET GLOBAL local_infile = ON),且启动参数不能含 --local-infile=0;客户端连接也要加 --local-infile 参数
  • Windows 生成的 CSV 默认换行是 \r\n,若写成 LINES TERMINATED BY '\n',最后一列会多出 \r,导致字段错位
  • 时间字段如 "2024-03-15 14:22:08" 不能直插,得用 SET created_at = STR_TO_DATE(@created_at, '%Y-%m-%d %H:%i:%s')
  • 遇到唯一冲突要跳过或覆盖,加 IGNORE 或 REPLACE 关键字,例如:LOAD DATA LOCAL INFILE '/tmp/data.csv' IGNORE INTO TABLE t1

导入后重建索引的时机和代价

索引不是导完就立刻重建——顺序错了,后续查询可能因缺失索引而雪崩:

  • 导入完成后,**立刻**执行 SET UNIQUE_CHECKS = 1 和 SET FOREIGN_KEY_CHECKS = 1,恢复约束检查
  • 紧接着用备份好的 DDL 重建索引,例如:CREATE INDEX idx_status ON t1(status);不要等业务查询跑慢了才想起来
  • 重建索引本身耗时,但比边插边维护索引快得多;实测千万行下,删索引导入 + 重建,总耗时常不到边插边建的 1/3
  • 如果表有多个二级索引,CREATE INDEX 是串行构建的,无法并行加速,所以索引数量要精简,别堆一堆低效索引

真正容易被忽略的是:DISABLE KEYS 的幻觉比没优化更危险——它让你误以为已做完所有事,却对 InnoDB 的真实行为一无所知。删索引、关检查、备定义、速导入、快重建,这五步闭环才是千万级导入不翻车的底线。

热门AI工具

更多
VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

4623

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

951

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1209

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

6621

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

3363

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

6600

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

9061

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1230

2024.04.29

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 193人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn