xorm框架批量插入推荐使用 insertmulti() 方法,通过传入切片和表对象一次性提交多条记录。该方法底层利用 sql 的 insert into ... values (...), (...) 语法,显著减少网络往返次数并提升写入性能。若数据量极大,可结合事务或调整数据库连接池配置以进一步优化吞吐量。

InsertMulti 的具体用法是什么
使用 InsertMulti 时,需准备一个包含多个结构体实例的切片,并将其与目标表模型一同传入。调用后,XORM 会将切片中的每个元素转换为对应的值列表,拼接成一条完整的批量插入语句执行。如果切片为空,操作将直接返回而不发送任何 SQL 请求,从而避免无效的网络交互。

package main
import (
"fmt"
"log"
"time"
"xorm.io/xorm"
_ "github.com/go-sql-driver/mysql"
)
type User struct {
ID int64 `xorm:"autoincr"`
Name string `xorm:"varchar(50)"`
Email string `xorm:"varchar(100) unique"`
CreatedAt time.Time `xorm:"created"`
}
func main() {
source := "user:password@tcp(127.0.0.1:3306)/test?charset=utf8mb4"
em, err := xorm.NewEngine("mysql", source)
if err != nil {
log.Fatal(err)
}
defer em.Close()
// 确保表存在
em.Sync2(new(User))
// 构造批量插入的数据
users := []User{
{Name: "Alice", Email: "alice@example.com"},
{Name: "Bob", Email: "bob@example.com"},
{Name: "Charlie", Email: "charlie@example.com"},
}
// 执行批量插入
affected, err := em.InsertMulti(users)
if err != nil {
log.Fatal(err)
}
fmt.Printf("成功插入 %d 条记录\n", affected)
}如何优化大批量插入的性能
当插入数据量超过数千条时,建议将数据分片处理,每批控制在合理范围内(如 500-1000 条),以避免单次 SQL 语句过大导致内存溢出或数据库解析超时。同时,启用事务包裹批量操作可以进一步降低磁盘 I/O 压力,因为事务提交只需一次 fsync 操作。此外,关闭自动同步表结构(Sync)和禁用日志输出也能在高频写入场景下提升效率。

package main
import (
"fmt"
"log"
"time"
"xorm.io/xorm"
_ "github.com/go-sql-driver/mysql"
)
type LogEntry struct {
ID int64 `xorm:"autoincr"`
Message string `xorm:"varchar(255)"`
Level string `xorm:"varchar(10)"`
Time time.Time `xorm:"created"`
}
func batchInsertWithTransaction(engine *xorm.Engine, entries []LogEntry, batchSize int) error {
session := engine.NewSession()
defer session.Close()
if err := session.Begin(); err != nil {
return err
}
for i := 0; i < len(entries); i += batchSize {
end := i + batchSize
if end > len(entries) {
end = len(entries)
}
batch := entries[i:end]
_, err := session.InsertMulti(batch)
if err != nil {
session.Rollback()
return err
}
}
return session.Commit()
}
func main() {
source := "user:password@tcp(127.0.0.1:3306)/test?charset=utf8mb4"
em, err := xorm.NewEngine("mysql", source)
if err != nil {
log.Fatal(err)
}
defer em.Close()
em.SetMaxOpenConns(10)
em.SetMaxIdleConns(5)
var entries []LogEntry
for i := 0; i < 5000; i++ {
entries = append(entries, LogEntry{
Message: fmt.Sprintf("Log message %d", i),
Level: "INFO",
})
}
err = batchInsertWithTransaction(em, entries, 1000)
if err != nil {
log.Fatal(err)
}
fmt.Println("批量事务插入完成")
}插入重复唯一键时会发生什么
如果在批量插入中遇到违反唯一约束(如 unique 标签定义的字段)的情况,数据库会拒绝该条记录并返回错误。XORM 默认不会自动跳过冲突行,而是中断整个批次操作并抛出异常。因此,在插入前应先检查数据合法性,或使用 INSERT IGNORE / ON DUPLICATE KEY UPDATE 等数据库特性来处理重复项,但这需要自定义 SQL 或通过特定配置实现,标准 InsertMulti 不支持此行为。


















