chunksize参数仅控制Python端从游标批量取回的行数，底层调用cursor.fetchmany()，不改变SQL执行逻辑；其生效前提取决于数据库驱动是否支持服务器端游标。
chunksize参数到底作用在哪儿
它不作用在SQL语句上，也不改变数据库执行逻辑，只控制Python端从游标（cursor）中每次批量取回的行数。底层调用的是cursor.fetchmany(size)，不是fetchall()。这意味着即使你写SELECT * FROM huge_table，只要设了chunksize=1000，pandas或SQLAlchemy就不会把全部结果一次性加载进内存。
常见误解是“加了chunksize就能避免OOM”，但实际前提是：数据库驱动必须支持服务器端游标（如PostgreSQL的name游标、MySQL的SSCursor），否则fetchmany()仍会先拉全量到客户端缓冲区再切片。
不同数据库驱动下chunksize生效的前提条件
- PostgreSQL（psycopg2）：必须显式创建命名游标，例如
conn.cursor(name='my_cursor')；默认匿名游标不支持流式读取，chunksize会被忽略
- MySQL（pymysql / mysqlclient）：需使用
SSCursor（server-side cursor），例如conn.cursor(pymysql.cursors.SSCursor)；普通Cursor仍会缓存全部结果
- SQLite：天然单进程，无服务端游标概念，
chunksize仅影响Python层分批解析，对内存压力缓解有限
- SQL Server（pyodbc）：需设置
cursor.fast_executemany = True并配合executemany写入；读取时chunksize依赖驱动是否启用流式模式，较老版本可能无效
pandas.read_sql()里chunksize的真实行为
conn.cursor(name='my_cursor')；默认匿名游标不支持流式读取，chunksize会被忽略SSCursor（server-side cursor），例如conn.cursor(pymysql.cursors.SSCursor)；普通Cursor仍会缓存全部结果chunksize仅影响Python层分批解析，对内存压力缓解有限cursor.fast_executemany = True并配合executemany写入；读取时chunksize依赖驱动是否启用流式模式，较老版本可能无效传入chunksize=N后，read_sql()不再返回DataFrame，而是返回一个Iterator[DataFrame]。每次next()或for df in ...才会触发一次fetchmany(N)。
注意两个坑：
立即学习“Python免费学习笔记（深入）”；
- 如果SQL含
ORDER BY但没配LIMIT，每批df内部有序，但批次之间不保证全局顺序（尤其并发查询或分区表场景） -
dtype推断只基于第一批数据，后续批次若有类型不一致（如某列前1000行全是int，第1001行是NULL或字符串），会报ValueError: invalid literal for int() - 不能直接对返回的iterator做
len()或索引访问，必须遍历；想预估总行数得先执行SELECT COUNT(*)
示例：
for chunk in pd.read_sql("SELECT id, name FROM users", conn, chunksize=5000):
process(chunk) # 每次处理5000行手动用游标分批比pandas更可控的场景
当需要精细控制每批处理逻辑（比如动态调整batch size、插入前校验、跳过脏数据）、或pandas类型推断失败频繁时，绕过read_sql()直接操作游标更稳。
关键点：
- 确保游标处于“未消费”状态，即执行完
execute()后还没调用任何fetch* - 循环中用
cursor.fetchmany(chunksize)，返回list[tuple]，空列表表示结束 - 别在循环里反复
execute()同一语句——那会重跑查询，不是分批读 - 若需字段名，用
cursor.description，别依赖fetchmany()返回值自带列信息
示例（psycopg2）：
cursor = conn.cursor(name='big_query') # 命名游标
cursor.execute("SELECT id, email FROM customers WHERE status='active'")
while True:
rows = cursor.fetchmany(2000)
if not rows:
break
df = pd.DataFrame(rows, columns=[desc[0] for desc in cursor.description])
process(df)分批读的核心不在chunksize数字本身，而在游标类型是否真能流式吐数据。很多OOM问题其实卡在驱动没配对，而不是数值设小了。
