session.add_all()比循环add()快,因其一次性注册对象至identity map并仅触发一次状态检查;但SQL执行次数不变,真正提速需配合bulk_save_objects()或execute(insert().values())等批量提交策略。

为什么 session.add_all() 比循环 add() 快?
因为前者把所有对象一次性注册进会话的 identity map,只触发一次 flush 前的状态检查;后者每调用一次 add() 都要走一遍状态管理开销。但注意:它不减少 SQL 执行次数——真正提速靠的是后续的批量提交策略。
必须配合 session.bulk_save_objects() 或 session.execute() + insert().values()
bulk_save_objects() 绕过 ORM 状态追踪,直接拼批量 INSERT 语句,适合纯写入、无需返回主键或事件钩子的场景。它对内存更友好,但不触发 before_insert 等事件,也不校验字段类型(错误会在 DB 层报错)。
- 用法示例:
session.bulk_save_objects([User(name='a'), User(name='b')])
- 若需指定字段(跳过默认值或服务端计算列),加
update_fields参数 - 遇到
IntegrityError时不会告诉你哪条数据出错,得自己分批试错
用 execute() + insert().values() 实现原生级批量插入
这是目前 SQLAlchemy 2.0+ 推荐的高性能路径,完全跳过 ORM,接近 raw SQL 效率,同时保留参数化安全和方言适配能力。
- 示例:
stmt = insert(User).values([{'name': 'x'}, {'name': 'y'}])<br>session.execute(stmt) - 支持 PostgreSQL 的
on_conflict_do_nothing()、MySQL 的on_duplicate_key_update() - 注意:
values()接收字典列表,不是模型实例;字段名必须与表定义严格一致 - 大批量时建议分块(如每 1000 条一次
execute),避免单次请求过大或事务锁太久
别忘了 session.commit() 和连接池配置
批量操作后不 commit(),数据根本不会落库;而频繁 commit() 又会拖慢速度。折中做法是每几千条 commit 一次。另外,默认 SQLite 连接池不支持并发写入,PostgreSQL/MySQL 要确认 pool_size 和 max_overflow 足够,否则批量时线程会卡在获取连接上。
立即学习“Python免费学习笔记(深入)”;
- 禁用自动 flush:
session = Session(autoflush=False),手动控制时机 - 批量前关掉 echo:
echo=False,避免日志 IO 拖累 - 如果用
create_engine(..., future=True),确保所有语句用 2.0 风格(如select()而非query())
max_allowed_packet 或 PostgreSQL 的 prepared statement 缓存大小,这些不看错误日志根本发现不了。


















