使用预编译语句、多值插入、事务控制和分批并发策略可显著提升Golang批量插入性能。1. 预编译减少SQL解析开销；2. 多值INSERT降低网络往返次数；3. 显式事务避免频繁自动提交；4. 分批并发提高吞吐量，合理控制批次大小与连接数。
在使用 Golang 操作数据库时，批量插入是常见的性能瓶颈。如果处理不当，逐条插入会导致大量网络往返和事务开销，严重影响效率。通过合理利用 database/sql 包的特性并结合一些优化策略，可以显著提升批量操作的性能。
1. 使用预编译语句（Prepared Statement）减少解析开销
每次执行 SQL 语句时，数据库都需要进行语法解析、生成执行计划等操作。使用预编译语句可以让数据库提前准备好执行计划，后续只需传入参数即可执行，避免重复解析。
在 Go 中，可以通过 DB.Prepare() 创建预编译语句，然后在循环中多次调用 Stmt.Exec()：
stmt, err := db.Prepare("INSERT INTO users(name, email) VALUES(?, ?)")
if err != nil {
log.Fatal(err)
}
defer stmt.Close()
for _, u := range users {
_, err := stmt.Exec(u.Name, u.Email)
if err != nil {
log.Fatal(err)
}
}
这种方式比拼接 SQL 或每次调用 db.Exec() 快很多，尤其适用于成百上千条数据的插入。
立即学习“go语言免费学习笔记（深入）”；
2. 合并多值插入（Multi-Value INSERT）减少语句数量
MySQL 和 PostgreSQL 等主流数据库支持一条 INSERT 语句插入多行数据。这能大幅减少网络请求次数和事务开销。
例如，将多条记录合并为：
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
INSERT INTO users(name, email) VALUES ('A', 'a@x.com'), ('B', 'b@x.com'), ('C', 'c@x.com');
在 Go 中动态构造这类语句：
var values []interface{}
var placeholders []string
for _, u := range users {
placeholders = append(placeholders, "(?, ?)")
values = append(values, u.Name, u.Email)
}
query := "INSERT INTO users(name, email) VALUES " + strings.Join(placeholders, ", ")
_, err := db.Exec(query, values...)
注意：单条 SQL 长度有限制（如 MySQL 的 max_allowed_packet），建议每批次控制在 500～1000 条以内。
3. 手动管理事务避免自动提交开销
默认情况下，每条 Exec 都会触发一次自动提交事务，频繁提交会极大拖慢速度。应将批量操作包裹在一个显式事务中。
tx, err := db.Begin()
if err != nil {
log.Fatal(err)
}
defer tx.Rollback()
stmt, err := tx.Prepare("INSERT INTO users(name, email) VALUES(?, ?)")
if err != nil {
log.Fatal(err)
}
defer stmt.Close()
for _, u := range users {
_, err := stmt.Exec(u.Name, u.Email)
if err != nil {
log.Fatal(err)
}
}
err = tx.Commit()
if err != nil {
log.Fatal(err)
}
将整个批次放在一个事务中提交，可显著提高吞吐量。
4. 结合批量大小与并发提升整体吞吐
对于超大规模数据，可将数据分批处理（如每批 1000 条），并考虑并发写入不同表分区或使用连接池配合多个 goroutine 并行插入非冲突数据。
但要注意：
- 不是所有场景都适合并发插入，需避免主键冲突或死锁
- 数据库连接数要合理配置，防止资源耗尽
- 建议使用
semaphore或worker pool控制并发度
基本上就这些。通过预编译语句、多值插入、事务控制和合理分批，database/sql 的批量插入性能可以接近最优水平，无需引入第三方 ORM 框架也能高效处理大批量数据写入。
