本文介绍通过 load data、批量 insert、事务控制与异步队列四大策略，解决多用户同时导入万级 csv 记录时数据库阻塞、串行等待的问题，显著提升并发写入性能与用户体验。
本文介绍通过 load data、批量 insert、事务控制与异步队列四大策略，解决多用户同时导入万级 csv 记录时数据库阻塞、串行等待的问题，显著提升并发写入性能与用户体验。
在 Web 应用中，当多个用户同时上传包含数千甚至上万条记录的 CSV 文件并执行数据库插入时，若仍采用传统的单条 INSERT 循环（如 foreach ($rows as $row) { $pdo->exec("INSERT INTO ..."); }），极易引发严重性能瓶颈：MySQL 表级锁或行锁竞争、网络往返延迟叠加、事务自动提交开销剧增，最终导致只有首个请求能成功写入，其余请求被阻塞或超时失效。
✅ 核心优化方案
1. 优先使用 LOAD DATA INFILE（推荐）
这是 MySQL 原生最快的数据导入方式，比逐条 INSERT 快 10–20 倍。它绕过 SQL 解析层，直接将文件内容流式加载至表中。
// 示例：安全地使用 LOAD DATA（需确保 secure_file_priv 配置允许）
$csvPath = '/tmp/upload_' . uniqid() . '.csv';
file_put_contents($csvPath, $csvContent);
$pdo->exec("
LOAD DATA INFILE '" . addslashes($csvPath) . "'
INTO TABLE users
FIELDS TERMINATED BY ','
ENCLOSED BY '\"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS
");⚠️ 注意：生产环境需配置 secure_file_priv，且 PHP 进程需有文件读取权限；也可改用 LOAD DATA LOCAL INFILE（需 MySQL 启用 local_infile=ON 并在 PDO 连接中设置 PDO::MYSQL_ATTR_LOCAL_INFILE => true）。
2. 替代方案：批量 INSERT + 事务封装
若无法使用 LOAD DATA，应避免单条插入，改为每 100–500 行一组批量插入，并包裹在显式事务中：
立即学习“PHP免费学习笔记（深入）”；
Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。
$pdo->beginTransaction();
try {
$stmt = $pdo->prepare("INSERT INTO users (name, email, created_at) VALUES (?, ?, ?)");
foreach (array_chunk($rows, 200) as $chunk) {
$values = [];
$params = [];
foreach ($chunk as $row) {
$values[] = "(?, ?, ?)";
$params[] = $row['name'];
$params[] = $row['email'];
$params[] = date('Y-m-d H:i:s');
}
$sql = "INSERT INTO users (name, email, created_at) VALUES " . implode(', ', $values);
$pdo->prepare($sql)->execute($params);
}
$pdo->commit();
} catch (Exception $e) {
$pdo->rollback();
throw $e;
}3. 关键调优：禁用自动提交 + 索引/约束临时关闭（仅限导入期间）
在事务开始前执行：
SET autocommit = 0; SET unique_checks = 0; -- 暂停唯一索引校验 SET foreign_key_checks = 0; -- 暂停外键约束检查 -- 执行批量插入... COMMIT; SET unique_checks = 1; SET foreign_key_checks = 1;
⚠️ 注意：此操作仅适用于可信数据源的离线导入场景，切勿在高并发在线业务中长期禁用。
4. 终极解耦：引入异步队列系统
真正解决“用户等待”问题的关键在于去同步化。将导入请求转为后台任务，立即返回响应：
- 用户上传 CSV → 服务端保存临时文件 + 写入消息队列（如 Redis List / RabbitMQ / Beanstalkd）；
- 独立的 Worker 进程（如 Laravel Horizon、Supervisor 管理的 PHP CLI 脚本）持续监听队列；
- Worker 拿到任务后执行 LOAD DATA 或批量插入，并更新任务状态（如数据库 import_jobs 表）；
- 前端通过 AJAX 轮询 /api/import-status?id=xxx 获取进度。
该架构彻底消除请求阻塞，支持横向扩展 Worker 数量，同时便于实现失败重试、日志追踪与用户通知。
? 总结建议
- 性能优先级：LOAD DATA > 批量 INSERT + 事务 > 单条 INSERT；
- 并发保障：必须配合队列实现请求解耦，而非仅优化 SQL；
- 安全性底线：LOAD DATA 需严格校验文件来源，批量插入须预处理防 SQL 注入；
- 监控必备：记录每批次导入耗时、行数、错误率，及时发现慢查询或锁争用。
通过以上组合策略，可轻松支撑数十用户并发导入 10,000+ 条记录，系统吞吐量提升一个数量级，同时保障数据一致性与用户体验。
