read_sql的con参数必须传SQLAlchemy Engine实例而非原始连接;WHERE条件须用params防注入;大数据量需chunksize流式读;datetime字段异常需检查驱动版本或强制转换。

read_sql 读取 SQL 查询结果时,必须传 engine 而不是 connection
很多人卡在 read_sql 报错 TypeError: read_sql() missing 1 required positional argument: 'con',其实是因为混淆了 con 参数的类型。它要的是一个 SQLAlchemy Engine 实例(比如 create_engine(...) 返回的),不是原始的 sqlite3.Connection 或 psycopg2.connection。
常见错误写法:conn = sqlite3.connect("db.db"); pd.read_sql("SELECT * FROM t", conn) —— 这会失败。
- 正确做法:用
sqlalchemy.create_engine构建engine,再传给con=engine - MySQL/PostgreSQL 需要安装对应驱动(
pymysql、psycopg2),否则create_engine初始化就报错 - SQLite 可直接用
"sqlite:///xxx.db",但注意三个斜杠;相对路径默认从当前工作目录算起,不是脚本所在目录
WHERE 条件里含 Python 变量,别拼字符串,用 params 防注入
直接用 f-string 或 % 拼接 SQL 是高危操作,尤其变量来自用户输入或文件。Pandas 的 read_sql 支持 params 参数透传给底层 driver,自动处理转义和类型适配。
错误示例:f"SELECT * FROM users WHERE age > {min_age}" —— 遇到 min_age = "18; DROP TABLE users;" 就完蛋。
立即学习“Python免费学习笔记(深入)”;
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限
- 安全写法:写成
read_sql("SELECT * FROM users WHERE age > %(min_age)s", engine, params={"min_age": min_age}) - 不同数据库占位符不同:
?(SQLite)、%s(MySQL)、%(name)s(PostgreSQL),统一用命名式最稳妥 -
params只支持 WHERE 值替换,不能用于表名、列名或 ORDER BY 字段——这些得靠白名单校验后拼接
大数据量查询别用 read_sql 全拉,加 chunksize 流式读
查几百万行还用 read_sql("SELECT * FROM huge_table", engine),内存直接爆,Python 进程可能被系统 kill。这不是 Pandas 的 bug,是设计使然:它默认把整个结果集 load 到内存构造成 DataFrame。
现象:程序卡住、内存占用飙升、Jupyter kernel restart。
- 加
chunksize=10000,返回的是Iterator[pd.DataFrame],每次只读 1 万行 - 适合做分批处理:统计、清洗、写入其他库,避免一次性 hold 所有数据
- 注意:
chunksize不影响 SQL 执行逻辑,只是客户端侧分页;真要服务端分页得手写 LIMIT/OFFSET 或游标查询
datetime 字段读出来是 object 类型?检查数据库时区和 SQLAlchemy 类型映射
PostgreSQL 的 TIMESTAMP WITH TIME ZONE 或 MySQL 的 DATETIME 读进 Pandas 后变成 object,而不是 datetime64[ns],后续 dt.year 就报错。这通常不是 Pandas 问题,而是 driver 或 engine 层没正确识别类型。
- 确认数据库字段实际类型:用
SELECT column_name, data_type FROM information_schema.columns查 - 升级
sqlalchemy和对应 driver(旧版对时区支持弱) - 强制转换:加
parse_dates=["created_at"]参数,或之后调df["created_at"] = pd.to_datetime(df["created_at"]) - SQLite 没原生 datetime 类型,存的是字符串或整数,必须靠
parse_dates或自定义dtype
真正麻烦的不是语法,是 database URL 写错、driver 没装、时区隐式转换、大表没分块——这些地方一漏,查半天都看不出哪错了。

















