优先启用AQE自动倾斜处理并配合手动加盐兜底;确认GROUP BY倾斜需检查SQL结果中top key计数是否百倍超标,以及Spark UI中对应task是否耗时异常、shuffle read量激增;仅调大spark.sql.shuffle.partitions无效,因倾斜key仍集中于同一分区。

直接结论:优先开 AQE 自动倾斜处理,配合手动加盐兜底;别只调 spark.sql.shuffle.partitions,它对倾斜 key 无效。
怎么确认是 GROUP BY 倾斜?
看两处:一是 SQL 执行完后跑 SELECT key, COUNT(*) AS cnt FROM tbl GROUP BY key ORDER BY cnt DESC LIMIT 20,如果某个 key 的 cnt 是其他 key 的百倍以上(比如普遍 2k~5k,某 device_id 突然到 300 万),基本坐实;二是 Spark UI 的 “SQL” 页签里,某个 task 耗时远高于其余(卡在 99%、OOM、executor 报 java.lang.OutOfMemoryError),且该 task 对应的 shuffle read 数据量异常高。
为什么不能只调大 spark.sql.shuffle.partitions?
这个参数只是控制 shuffle 分区总数,默认 200。把它改成 2000,确实让平均每个分区数据变少,但倾斜 key 仍全部落在同一个 partition——它占全量 80%,那 2000 个分区里,仍有约 1600 个空转,剩下 400 个争抢处理这 80% 数据。资源浪费没缓解,最大 task 耗时也没降。
常见误操作:
- 以为“分得越细越均匀”,结果 shuffle 量暴增、小 task 大量堆积
- 改了参数却没重跑 job,或只改了 client 模式下的 session 配置,集群实际未生效
Spark 3.5 中开 AQE 自动处理 GROUP BY 倾斜要配什么?
AQE 在 3.5 已稳定支持 GROUP BY 倾斜检测与分裂,但必须同时启用两个开关:
spark.sql.adaptive.enabled=truespark.sql.adaptive.skewedJoin.enabled=true(注意:名字含 Join,但它实际覆盖 Aggregate 类 operator)
不启用后者,AQE 就不会拆分倾斜 group key。另外建议顺手打开:spark.sql.adaptive.coalescePartitions.enabled=true,避免因打散后产生大量小 partition 拖慢后续 stage。
手动加盐做两阶段聚合的关键细节
当 AQE 检测失败、或需精准控制倾斜 key 时,才上手写加盐逻辑。核心是避免 RAND() 多次调用导致同一原始 key 被拆成不同盐值、漏统计:
- 盐值计算只写一次,用
CASE WHEN包裹后,在GROUP BY和外层SELECT中复用 - 随机范围设为 10~50,例如
FLOOR(RAND() * 20);太小打散不足,太大让本不倾斜的小 key 也被误拆 - 多个倾斜 key 合并判断:
WHEN key IN ('k1', 'k2', 'k3'),别嵌套一堆OR - 盐前缀用下划线连接:
CONCAT(key, '_', salt_val),避免和原始 key 冲突(比如 key 本身是"123",盐值是45,拼成"12345"就可能撞上真实 key)
容易被忽略的点:加盐只应对真正倾斜的 key,不是所有 key 都加;否则 shuffle 量无谓放大,小 key 反而变慢。


















