Trino/Presto跨数据源聚合不能直接JOIN,需用UNION ALL垂直拼接各源数据再GROUP BY;必须严格对齐列数、类型与顺序,补NULL或CAST处理差异,并添加source_system常量列标识来源。

Trino/Presto 的 UNION ALL + GROUP BY 是最直接方案
跨数据源(比如 MySQL、PostgreSQL、Hive 表)做分组聚合,不能靠传统 JOIN——不同 catalog/schema 下的表无法直接关联。实际做法是先用 UNION ALL 把各源数据垂直拼成一张逻辑宽表,再统一 GROUP BY。注意必须用 UNION ALL,否则去重会破坏原始数据量,导致 COUNT/SUM 失真。
- 所有
SELECT子句列数、类型、顺序必须严格一致;不匹配的字段补NULL或类型转换函数(如CAST(col AS VARCHAR)) - 列名以第一个
SELECT为准,后续子查询中别名无效;建议显式写全字段名,避免隐式映射出错 - 如果某源有额外业务字段(如
source_system),应在每个子查询里加常量列标识来源:'mysql_prod' AS source
TDengine 3.4.3.3 的 ROLLUP BY 适合时序场景的跨层级聚合
当多个数据源本质是同一类设备/测点,只是按工厂、车间、产线等路径标签分散存储时,ROLLUP BY 比手工 UNION 更高效。它自动展开祖先路径,一条流同时产出多级汇总结果,且父级值天然包含全部下级数据。
- 要求源表有路径型标签(如
location STRING TAG值为"A.1.2"),且层级间用固定分隔符 -
ROLLUP BY location后,_trollup_tbcount字段可识别当前层级,_twstart提供窗口起始时间 - 不能混用非路径标签(如
device_type)参与 ROLLUP,否则报错或结果不可控
帆软报表中用多数据源模板规避 SQL 层跨源限制
如果最终目标是出报表而非生成中间表,帆软的「多源融合引擎」允许在同一个报表内分别连接 MySQL、API、Excel 等异构源,再通过「数据集关联」或「单元格公式」做逻辑聚合。这绕开了 SQL 语法限制,但代价是聚合发生在应用层,大数据量时内存和网络开销明显。
- 关系型数据库之间可用「JOIN 数据集」,但仅支持等值关联,且性能取决于最慢数据源的响应
- API 或文件类数据源只能作为「主数据集」的子查询补充字段,无法参与
GROUP BY主逻辑 - 若需 COUNT/SUM 等聚合结果跨源一致,必须开启「数据预加载」,否则翻页时可能重复请求 API 导致数值漂移
JPA @Query(nativeQuery = true) 不适用于跨源聚合
有人试图在 Spring Data JPA 中用原生 SQL 跨库 JOIN,比如 SELECT * FROM mysql_db.users u JOIN pg_db.orders o ON u.id = o.user_id。这在绝大多数部署下会失败:JDBC 驱动只连一个数据库,无法解析跨 catalog 的两段式表名(mysql_db.users)。即使底层数据库支持(如 PostgreSQL 的 postgres_fdw),JPA 也不识别这种扩展语法。
- 唯一可行路径是把各源数据先查到应用内存,用 Java Stream 或 Guava Collections 做二次聚合
- 务必控制单次拉取的数据量,避免 OOM;对超大结果集,应改用分页+服务端游标方式处理
- 不要在
@Query中拼接 catalog 名,JDBC URL 已锁定连接目标,硬编码只会引发Table not found错误
跨源聚合真正的难点不在语法,而在于语义对齐:时间字段是否都转成 UTC?枚举值(如状态码)在各系统中含义是否一致?这些不解决,SQL 写得再漂亮,结果也是错的。

















