CreateInBatches是GORM真批量写入入口,通过单条多值INSERT提升吞吐,但需手动控制事务、设合理batchSize(100–500)、注意主键回填限制及数据库差异。

高频写入场景下,GORM 默认事务机制(每条 Create/Update 自动包事务)会直接拖垮吞吐——不是 ORM 慢,是它被当成了“单条语句执行器”在用。
为什么 db.Transaction + 循环 Create 依然很慢
很多人以为“手动开事务就等于批量”,结果在事务里写 for _, u := range users { db.Create(&u) },性能几乎没提升。原因很实在:
- 每调用一次
Create,GORM 仍生成一条独立INSERT INTO ... VALUES (...)语句,只是共用一个事务上下文 - 网络往返、SQL 解析、参数绑定、日志记录全重复 N 次
- MySQL 的
innodb_flush_log_at_trx_commit=1(默认)会让每次INSERT都刷盘,I/O 成瓶颈 - 连接池中该连接被长时间独占,阻塞其他请求
CreateInBatches 是什么,又不是什么
CreateInBatches 是 GORM v2 提供的真批量写入入口,但它不是“自动魔法”——它只控制 SQL 生成方式,其余全靠你兜底:
- 它底层拼的是单条多值
INSERT INTO t(c1,c2) VALUES (?,?),(?,?),...,批次内仅 1 次网络请求 - 必须显式传入
batchSize,推荐100–500:太小摊不薄开销,太大易超 MySQLmax_allowed_packet(例如 500×2KB ≈ 1MB,安全) - 不自动开启事务:
db.CreateInBatches(users, 500)默认无事务,某批失败时前面批次已提交 → 数据不一致 - 主键回填不可靠:MySQL 不支持
RETURNING,插入后users[0].ID仍是 0;PostgreSQL 仅单批有效,多批时clause.Returning结果会错位
真正高吞吐的写法:事务 + CreateInBatches + batchSize 控制
高频写入要稳又快,核心就是“一事务一批次”,避免嵌套或拆散:
- 用
db.Transaction(func(tx *gorm.DB) error { ... })包住整个写入逻辑,不是只包CreateInBatches - 在事务内分批调用
tx.CreateInBatches(..., batchSize),确保所有批次原子性 - 批次大小统一设为固定值(如 300),别用
len(users) % batchSize动态算——最后一组可能极小,浪费一次请求 - 如果需主键回填且用 PostgreSQL,可在单批内加
clause.Returning;MySQL 场景建议改用数据库自增 ID + 应用层维护映射,别依赖回填 - 避免在循环里调用
tx.CreateInBatches多次:比如 1000 条分 4 批,就调 4 次,别写成 “每 100 条开个子事务”
什么时候该彻底绕过 GORM
当单次写入 >10 万行、或延迟要求
- 直接用
*sql.DB.Prepare("INSERT INTO t(c1,c2) VALUES (?,?)"),再循环stmt.Exec(),跳过 GORM 反射和模型解析 - VALUES 子句用
strings.Repeat("(?,?),", n-1) + "(?,?)"动态生成,参数平铺进[]interface{} - 字符串值必须用
mysql.Escape()(不是sql.EscapeString)转义,防注入 - 事务必须显式
tx, _ := db.Begin()控制,不能依赖 GORM 的Transaction封装——微服务中上游可能已开启事务,嵌套破坏一致性
高频写最易被忽略的点:事务边界和批次粒度永远要对齐。写 10 万条却分 1000 批、每批开事务,和没优化没区别;写 1000 条却硬塞进 1 批、超包大小,直接报错。批量不是越大越好,事务不是开了就行——得看 MySQL 实际承受力和业务一致性要求。


















