CreateInBatches在事务中失败时数据仍部分写入,因其默认不开启事务且仅保证单批原子性;需手动db.Begin()控制事务生命周期,逐批检查错误并及时回滚,不可依赖自动提交或整体返回值判断成败。

事务里用CreateInBatches失败,数据却已写入一半
默认的 CreateInBatches 不开启事务,哪怕你把它包在 db.Transaction 里,只要某一批出错,前面成功的批次已经提交,不会回滚。这不是 bug,是设计行为——它只对当前批次做原子性保证。
必须显式控制事务生命周期,且不能依赖 CreateInBatches 自带的返回值判断整体成败:
- 用
tx := db.Begin()手动启事务,别用Transaction(func(tx *gorm.DB) error {})包裹CreateInBatches,后者会在函数退出时自动 Commit,掩盖中间失败 - 每批调用后立刻检查
tx.CreateInBatches(...).Error,一错立即tx.Rollback() - 不要等所有批次跑完再统一查
result.Error,它只反映最后一组 - 若需记录哪条数据失败,得自己按
batchSize切原始切片,逐批传入并捕获错误位置
PostgreSQL 批量插入唯一键冲突直接报错?ON CONFLICT 得手写
CreateInBatches 完全不识别 ON CONFLICT 子句,GORM 的 clause.OnConflict{} 只对单条 Create 生效。遇到重复邮箱、手机号等唯一约束,它会抛 ERROR: duplicate key value violates unique constraint 并中断整批。
真要跳过或更新,只能走原生 SQL:
- 用
tx.Exec("INSERT INTO users (name, email) VALUES ($1, $2) ON CONFLICT (email) DO NOTHING RETURNING id", name, email) - VALUES 部分必须用 pgx 占位符(
$1,$2),别拼字符串,防注入 - 需要批量处理时,把多组值展开成
($1,$2),($3,$4),($5,$6),参数列表平铺为[]interface{}{name1,email1,name2,email2,...} - 加
RETURNING id, xmax可区分是新插入还是被忽略(xmax = 0表示插入,非零表示冲突)
MySQL 怎么安全实现“存在则忽略”?别信 INSERT IGNORE
INSERT IGNORE 看似简单,但它不返回受影响行数,也无法告诉你哪一行被跳过。更糟的是,它会静默吞掉除唯一键冲突外的其他错误(比如字段超长、类型不匹配),导致数据丢失难排查。
可靠做法只有两种:
- 用
ON DUPLICATE KEY UPDATE显式指定字段:INSERT INTO users (name, email) VALUES (?, ?) ON DUPLICATE KEY UPDATE updated_at = NOW();注意不能写空UPDATE或UPDATE * - 或者彻底绕过 GORM,用
*sql.DB+Prepare拼接多值语句,配合mysql.Escape()转义字符串(不是sql.EscapeString) - 若用 GORM,
FirstOrCreate和Save绝对不能替代批量逻辑——它们是 N 次 SELECT + INSERT/UPDATE,在并发下必然竞态,且性能差一个数量级
批次大小设多少才不崩?看数据库和字段长度,不是拍脑袋
设成 1000 看似高效,但 MySQL 默认 max_allowed_packet=4MB,一行数据若含 JSON 或长文本,200 行就可能超限;PostgreSQL 大批量还可能触发 WAL checkpoint 超时;SQLite 更干脆——CreateInBatches 在它上面退化为循环单条插入,毫无意义。
实操建议:
- MySQL:100–500 行/批,单行平均长度
- PostgreSQL:关掉
Returning(db.Session(&gorm.Session{CreateBatchSize: 500}))能提速,但会丢自增 ID 回填 - SQLite:直接放弃
CreateInBatches,改用tx.Exec拼接单条多值语句,或换sqlc - 永远用
context.WithTimeout包裹每个事务,别让某一批卡死整个导入流程


















