数据上传性能优化

提问者在本地 Windows 服务器上运行的 Springboot 数据上传项目，在上传 5K 条数据到腾讯云 CentOS 中的 MySQL 数据库时遇到了性能低下的问题。程序运行几分钟后，云端数据库仍没有反应。针对此问题，提出了一些高效的数据上传设计方案。

解决方案

方案 1：压缩上传

• 将上传数据保存为 SQL，压缩成 ZIP 格式，再上传到线上服务器。
• 线上服务器检测到新 ZIP 文件后，解压缩并还原为 SQL，再使用 mysqlimport 工具导入数据。

优点：

kashen-mysql DDLtoExcel

解析 MySQL 8.0 的 DDL 脚本，并将表结构导出为 Excel 格式。适用于用户需将 MySQL 的 `CREATE TABLE` 语句转换为结构化的 Excel 文件场景，导出内容包含字段名、数据类型、长度及精度等信息。支持多张表的批量处理，每张表对应 Excel 中的一个独立工作表。适用于数据库文档编写、数据字典生成及模式分析等任务。

下载

• 压缩后数据量更小，上传速度更快。
• mysqlimport 导入数据效率高。

方案 2：异步多线程上传

• 使用异步或多线程技术，同时上传多个数据块。
• 这样做可以充分利用服务器资源，提高上传效率。

具体实施步骤：

方案 1：

1. 在本地服务器上，将上传数据保存为 SQL，并压缩为 ZIP 格式。
2. 设计一个脚本在远程服务器上检测新的 ZIP 文件。
3. 解压缩 ZIP 文件，并将 SQL 数据导入到数据库中，使用 mysqlimport 工具。
4. 将处理完成的 ZIP 文件移动到归档目录。

方案 2：

1. 使用多线程或异步技术，将上传数据分块并发发送。
2. 在远程服务器上，设置一个线程或异步回调函数接收每个数据块。
3. 将接收到的数据导入到数据库中。