read_sql慢的根源通常不在Pandas本身，而在SQL写法、数据库配置或连接参数；应先用原生客户端验证SQL性能，再通过chunksize分批读取、避免SELECT*、显式指定dtype、使用带WHERE的read_sql而非read_sql_table，并优化数据库连接参数。
read_sql 为什么慢？先查瓶颈在哪
多数人抱怨 read_sql 慢，其实问题常不在 Pandas 本身，而在 SQL 查询写法或数据库连接配置。比如没加 WHERE 条件直接全表扫描、没建索引、用 SELECT * 拉回无用字段，或者连接池没复用导致反复握手。先用数据库原生客户端（如 psql / mysql -e）跑同样 SQL，看执行时间——如果原生也慢，优化点就在 SQL 或 DB 层，不是 Pandas 的事。
用 chunksize 分批读取大表，避免内存爆掉
当表超过百万行，read_sql 默认一次性加载会吃光内存，还拖慢整个进程。用 chunksize 参数分块读是最直接的解法，它返回一个 Iterator，每次只载入一部分：
for chunk in pd.read_sql("SELECT id, name, created_at FROM users", conn, chunksize=10000):
process(chunk) # 处理每批数据注意：chunksize 不是越大越好。设成 50000 可能触发数据库单次返回超限（如 MySQL 的 max_allowed_packet），也容易让 Python 进程卡住；1000–10000 是较稳妥区间。另外，chunksize 和 dtype 配合使用效果更好——提前指定列类型能省下 Pandas 自动推断的时间和内存。
别用 read_sql_table，它不走 WHERE 下推
read_sql_table 看起来方便，但底层是先查元信息再拼 SELECT *，不支持带条件过滤，也无法利用索引。真正要加速，必须用 read_sql + 原生 SQL：
SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能，主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的 双功能合体技能 ，专为学生、算法学习者和开发者设计；✅ 一个技能，两种用途 ：；核心要点📝 题解模式 ：输入题目/题号，自动生成完整 Python 题解（含详细注释、解题思路、复杂度分析）；💬 注释模式 ：输入 Python 代码，自动添加详细中。它将相关步骤、
立即学习“Python免费学习笔记（深入）”；
- 错误写法：
pd.read_sql_table("orders", conn, conditions=["status = 'paid'"])——conditions参数实际无效，Pandas 会忽略 - 正确写法：
pd.read_sql("SELECT * FROM orders WHERE status = 'paid' AND created_at >= '2024-01-01'", conn) - 更进一步：把时间范围拆成多个子查询并行拉取，再用
pd.concat合并（适合有明确分区字段的场景）
连接参数和方言细节影响很大
PostgreSQL 和 MySQL 对参数敏感度不同。例如：
- PostgreSQL 推荐加
engine_params={'connect_args': {'options': '-c statement_timeout=30000'}}防止长查询阻塞 - MySQL 使用
pymysql驱动时，默认不启用压缩，大数据量下网络传输成为瓶颈，可加connect_args={'compress': True} - SQL Server 的
fast_executemany=True在写入时有用，但对read_sql无影响，别误配
还有一个隐藏坑：read_sql 默认把日期列转成 datetime64[ns]，如果数据库里是 TIMESTAMP WITH TIME ZONE，Pandas 会做时区转换，开销不小。若不需要时区语义，用 parse_dates=False + 后续手动转，反而更快。
真正卡顿的地方，往往藏在数据库配置、网络延迟、SQL 写法这些“外面”的环节，而不是 Pandas 代码本身。调 read_sql 之前，先确认 SQL 能在数据库里 1 秒内跑完，再谈 Python 层怎么接。
