分库分表后需用Python并发拉取多张物理表并合并:通过ThreadPoolExecutor并发执行pd.read_sql,统一时区与时间精度,优先下推聚合至数据库层,并依赖可信单调时间戳或版本号实现增量合并。

分库分表后如何用Python统一读取多张物理表?
不能直接 pd.read_sql("SELECT * FROM user") —— 表在不同数据库或同库不同表名(如 user_00、user_01)里,SQL 层面没有跨库 UNION ALL 的通用写法。得靠 Python 拼接逻辑。
推荐用 concurrent.futures.ThreadPoolExecutor 并发拉取,避免串行查 64 张表卡半天:
from concurrent.futures import ThreadPoolExecutor
import pandas as pd
<p>def fetch_table(db_conf, table_name):
conn = create_engine(f"mysql://{db_conf['user']}:{db_conf['pwd']}@{db_conf['host']}/{db_conf['db']}")
return pd.read_sql(f"SELECT * FROM {table_name}", conn)</p><p>with ThreadPoolExecutor(max_workers=8) as executor:
futures = [
executor.submit(fetch_table, db<em>conf, f"user</em>{i:02d}")
for i in range(64)
]
dfs = [f.result() for f in futures]</p><p>full_df = pd.concat(dfs, ignore_index=True)注意点:
立即学习“Python免费学习笔记(深入)”;
-
create_engine不要放在循环外复用——MySQL 连接可能超时或被服务端断开 - 如果表结构不完全一致(比如某张表多一个字段),
pd.concat会报错,加join="outer"+sort=False更鲁棒 - 大表慎用
read_sql全量加载,优先加WHERE dt = '2024-05-01'过滤条件再读
合并后时间字段对不齐?时区和类型必须显式处理
分库分表常伴随不同实例部署在不同时区,或写入时用了 DATETIME / TIMESTAMP 混用,导致 create_time 列合并后出现“同一毫秒却差 8 小时”的情况。
统一处理三步:
Camoufox 是一个基于 Firefox 构建的开源反检测浏览器,为 Python 自动化工作流程提供强大的指纹注入和反机器人检测规避功能。它与 Playwright 集成,以提供能够绕过现代机器人检测系统的隐身浏览能力。
- 读取时强制指定
parse_dates=["create_time"],避免 pandas 自推为 object - 检查每张子表的
create_time.dtype,若含tz-aware(如datetime64[ns, UTC]),用.dt.tz_convert("Asia/Shanghai")统一;若全为naive,用.dt.tz_localize("Asia/Shanghai") - 最后调
.dt.floor("S")或.dt.round("10S")对齐精度,防止毫秒级偏差干扰 groupby
聚合分析慢?别在内存里硬拼大 DataFrame
单表千万级、64 张就是 6.4 亿行,full_df.groupby("user_id").sum() 很可能 OOM 或卡死。
更可行的路径是:把计算下推到数据库层,只取结果再合并:
- 对每张物理表单独执行聚合 SQL:
SELECT user_id, COUNT(*) cnt, SUM(amount) amt FROM user_00 GROUP BY user_id - 用
pd.concat(..., ignore_index=True)合并所有中间结果 DataFrame - 再做一层全局
groupby("user_id").sum()—— 此时数据量已大幅下降
如果连单表聚合都慢,说明缺索引:user_id 和聚合字段(如 amount)需建联合索引,且确认 MySQL 的 sql_mode 没开启严格模式导致隐式转换失效。
增量合并怎么避免重复统计?关键看业务时间戳是否可靠
不能依赖“最后更新时间”字段做增量,它可能被业务误更新、或根本没维护。真正可用的是:
- 写入时自带的单调递增版本号(如
versionbigint auto_inc) - 基于 binlog 位点或 CDC 工具(如 Debezium)捕获的变更事件时间
- 若只有
create_time,必须确认其由数据库NOW()生成,而非应用层传入(后者不可信)
每次合并前,先查各分表中最大 create_time,取最小值作为本次窗口右边界,再按此条件过滤拉取 —— 这样即使某张表延迟写入,也不会漏数。
真正的难点不在代码,而在于你能否拿到可信的、全局单调的时间/序号源。没这个,自动化合并永远是定时跑着玩儿。

















