多阶段聚合本质是分层切片:先按用户+时间窗口聚合单步行为,再基于中间结果按路径模式归类;不可在同一SELECT中混用不同粒度GROUP BY,须用CTE或临时表衔接两阶段。

GROUP BY 多阶段聚合的本质是分层切片,不是嵌套查询
SQL 里没有“多阶段 GROUP BY”这个语法,所谓多阶段,其实是按不同粒度先后聚合:先按用户+时间窗口分组统计单步行为,再用外层查询对这些中间结果按路径模式归类。直接写两层 GROUP BY 会报错 GROUP BY clause is ambiguous 或触发 MySQL 的 sql_mode=only_full_group_by 拒绝执行。
实操建议:
- 第一阶段用
GROUP BY user_id, session_id, event_timestamp::DATE(或DATE_TRUNC('day', event_time))提取每个会话内的行为序列 - 第二阶段必须基于第一阶段的输出结果(比如临时表或 CTE),再按
path_pattern(如 'home > search > product')做聚合,不能在同一个 SELECT 里混用不同层级的分组键 - PostgreSQL 和 BigQuery 支持
STRING_AGG(event_type, ' > ' ORDER BY event_time)拼路径;MySQL 8.0+ 要用GROUP_CONCAT(event_type ORDER BY event_time SEPARATOR ' > '),低版本只能靠应用层拼
用窗口函数排序 + 字符串拼接生成行为路径时的坑
很多人想一步到位用 ROW_NUMBER() OVER (PARTITION BY user_id, session_id ORDER BY event_time) 排序后拼路径,但漏掉关键约束:同一 session 内事件时间可能重复(尤其埋点精度为秒),导致排序不稳定,STRING_AGG 结果每次跑都不一样。
实操建议:
- 务必加去重逻辑:
DISTINCT ON (user_id, session_id, event_time)(PostgreSQL)或先用MIN(event_id)取每时间点首个事件(避免并发写入乱序) - 拼接前对
event_type做标准化:REPLACE(REPLACE(event_type, ' ', '_'), '/', '_'),否则 'view product' 和 'view_product' 被当不同节点 - 路径长度要截断:
SUBSTR(STRING_AGG(...), 1, 500),不然超长路径会导致GROUP_CONCAT截断(MySQL 默认 1024 字符)或内存溢出
WHERE 条件放错位置会导致路径统计失真
想分析“完成注册的用户路径”,如果把 WHERE event_type = 'register_success' 放在外层,就只剩最后一步,整条路径没了;如果放在内层,又会过滤掉注册前的行为,路径变短甚至为空。
实操建议:
- 先用子查询/CTE 找出所有含目标事件的
session_id,再用IN关联回原始行为表,确保路径包含注册前全部步骤 - 不要用
HAVING COUNT(CASE WHEN event_type='register_success' THEN 1 END) > 0,它只保证存在,不保证顺序,可能把 'register_success > logout' 当作有效路径 - 需要严格顺序时,用
MAX(CASE WHEN event_type='register_success' THEN event_time END) > MAX(CASE WHEN event_type='login' THEN event_time END)显式校验时序
性能瓶颈常卡在字符串聚合和去重上
百万级 session 数据跑一次路径拼接,STRING_AGG 在 PostgreSQL 中可能吃光 work_mem,MySQL 的 GROUP_CONCAT 遇到大结果集直接返回 NULL —— 这不是 bug,是配置限制。
实操建议:
- 提前用
WHERE event_time > CURRENT_DATE - INTERVAL '7 days'控制数据量,别一上来就全量扫 - 建复合索引:
ON events (user_id, session_id, event_time),让排序和分组走索引,避免临时文件 - 路径分析不是实时需求,用物化视图(PostgreSQL)或定期写入汇总表(
path_hash STRING, path_length INT, count BIGINT)替代每次重算
路径分析真正的复杂点不在 SQL 写法,而在如何定义“有效路径”:要不要排除机器人流量?超时未操作的 session 怎么切分?跳转过快的点击是否合并?这些业务规则一旦没对齐,后面所有聚合都是噪声。

















