本文详解 sqlalchemy 在执行长时间 mysql 查询时因连接中断导致“lost connection to mysql server during query”错误的原因，并提供基于连接对象复用、连接池配置优化及流式读取实践的完整解决方案。
本文详解 sqlalchemy 在执行长时间 mysql 查询时因连接中断导致“lost connection to mysql server during query”错误的原因，并提供基于连接对象复用、连接池配置优化及流式读取实践的完整解决方案。
在使用 SQLAlchemy + pandas 读取大规模数据（如持续6分钟的查询）时，频繁出现 Lost connection to MySQL server during query 错误，其根本原因并非单纯网络不稳定，而是 连接生命周期管理失当 与 连接池行为不匹配长查询场景 所致。
关键问题在于原始代码中混用了两种连接模式：
# ❌ 错误写法：创建独立连接对象，但传给 pd.read_sql_query 的却是 engine
source_connection = source_db_connection.connect().execution_options(
stream_results=True, max_row_buffer=1000
)
# ↓ 此处传入的是 engine（source_db_connection），而非上面创建的 connection！
for df_from_db in pd.read_sql_query(raw_data_query_pandas, source_db_connection, ...):pd.read_sql_query() 接收 engine 时，会每次 chunk 内部自动获取新连接（受连接池控制），而长查询期间连接可能因 MySQL 的 wait_timeout（默认通常为 28800 秒，但中间件/代理可能更短）或网络空闲被服务端强制关闭。当 SQLAlchemy 尝试在查询结束后对已失效连接执行 _reset()（如 rollback）时，便触发 MySQLInterfaceError。
✅ 正确做法是：显式复用同一个 Connection 对象，并确保该连接在整段流式读取过程中保持活跃且不受连接池干扰：
from sqlalchemy import create_engine
# 推荐连接字符串参数（适配 MySQL）
engine = create_engine(
"mysql+mysqlconnector://user:pass@host:3306/db",
pool_recycle=3600, # 强制每小时重连，避免 wait_timeout
pool_pre_ping=True, # 每次 checkout 前验证连接有效性（轻量级 ping）
pool_size=5,
max_overflow=10,
# ⚠️ 注意：若查询极长（>10min），建议配合 MySQL 侧调大 wait_timeout
)
# ✅ 正确：复用单个 Connection 实例，绕过连接池调度
with engine.connect() as conn:
conn = conn.execution_options(stream_results=True, max_row_buffer=1000)
for df_chunk in pd.read_sql_query(
raw_data_query_pandas,
conn, # ← 关键：传入 Connection，非 Engine
params=(...),
chunksize=1000
):
df_chunk.to_csv("output.csv", index=False, mode="a", header=False)? 补充说明：poolclass=NullPool 虽可禁用连接池，但 pd.read_sql_query(engine, ...) 内部仍会调用 engine.connect() —— 若未显式管理，仍可能遭遇连接复用问题。因此，显式 with engine.connect() 是最可控的方式。
? 重要注意事项：
-
MySQL 服务端配置同步调整：检查并酌情增大 wait_timeout 和 interactive_timeout（单位：秒），例如：
SET GLOBAL wait_timeout = 3600; -- 1小时 SET GLOBAL interactive_timeout = 3600;
- 避免在循环中新建 Connection：每个 engine.connect() 都是一次新连接申请，长查询中频繁创建/销毁易触发资源竞争或超时。
- stream_results=True 必须与底层驱动兼容：MySQL Connector/Python 支持，但 PyMySQL 需额外设置 cursorclass=pymysql.cursors.SSCursor；使用 mysqlclient 则需 ss_cursor=True。
- 异常恢复建议：生产环境可结合 tenacity 库实现带退避的重试逻辑，针对 MySQLInterfaceError 等瞬态错误。
综上，该问题本质是“连接所有权错配”——将本应由用户直接管理的长生命周期连接，交由连接池和 pandas 自动调度。通过显式持有 Connection、合理配置连接池与 MySQL 服务端参数，即可稳定支撑小时级流式数据导出任务。
