必须显式开启spark.sql.adaptive.enabled=true才能启用AQE,仅设倾斜相关参数无效;GROUP BY倾斜检测依赖skewedJoin.enabled和skewedPartitionMaxSplits等阈值配置,且需在Spark UI中验证“Adaptive Execution”日志确认生效。

spark.sql.adaptive.enabled 必须显式开启
Spark 3.2+ 默认不启用 AQE(自适应查询执行),哪怕你只想要它自动处理 GROUP BY 倾斜,也得手动打开。光靠 spark.sql.adaptive.skewedJoin.enabled=true 没用——这个参数依赖 AQE 整体框架,一旦 spark.sql.adaptive.enabled 是 false,整个 AQE 就被禁用,包括倾斜检测和重分区逻辑。
正确做法是在提交作业时或 Session 初始化阶段设置:
spark.conf.set("spark.sql.adaptive.enabled", "true")
常见错误是只设了倾斜相关参数,却漏掉这行,结果 Spark UI 里完全看不到 AQE 的优化日志,task 依然卡死在 99%。
GROUP BY 倾斜检测实际生效的两个关键配置
AQE 对 GROUP BY 的倾斜识别不是“开箱即用”的模糊判断,它依赖两个硬性阈值:
-
spark.sql.adaptive.skewedJoin.enabled=true:名字带Join,但对GROUP BY同样起作用——这是 Spark 内部把分组聚合也归为“shuffle join-like”物理操作的结果 -
spark.sql.adaptive.skewedPartitionMaxSplits=10:默认是 5,意味着 AQE 最多把一个倾斜 partition 拆成 6 份(原 partition + 5 个新 split)。如果倾斜 key 占比极高(比如 80%),5 个 split 不够摊薄,建议调到 8–10;但超过 10 容易引入调度开销,尤其在小集群上
注意:spark.sql.adaptive.skewedPartitionThresholdInBytes 控制“多大才算倾斜”,默认 256MB。如果你的 shuffle 数据量普遍偏小(比如平均 partition 才 50MB),这个阈值可能让 AQE 完全不触发——此时需按比例下调,例如设为 128MB。
为什么开了 AQE 还看到 task 耗时严重不均?
不是所有 GROUP BY 场景都能被 AQE 自动修复。以下情况 AQE 会静默跳过:
- SQL 中用了
ORDER BY或LIMIT紧跟在GROUP BY后,且未加DISTRIBUTE BY—— Catalyst 可能提前物化中间结果,绕过 AQE 的运行时分析点 - 表是从 Hive metastore 直接读取、且未启用谓词下推(如分区字段没加
WHERE),导致 shuffle 输入数据量远超预期,AQE 来不及在第一轮 shuffle 后做干预 - 使用了自定义 UDAF 或 pandas UDF,AQE 无法解析其内部聚合逻辑,直接放弃倾斜检测
验证是否生效最直接的方式:在 Spark UI 的 SQL 页面,点进对应 job → 查看 “Adaptive Execution” 标签页,有 “Skew Join Optimization” 或 “Split Skewed Partition” 日志才说明真起了作用。
和手动加盐方案不是二选一,而是分层兜底
AQE 是运行时策略,适合临时作业、探索性分析或 key 分布不可预知的场景;但生产核心链路不能只靠它——因为 AQE 的拆分是动态的,每次执行可能生成不同数量的子 key,下游如果依赖固定 key 格式(比如写入 HBase rowkey),就会出错。
更稳妥的做法是:
- 对已知高频倾斜 key(如固定设备 ID、热门商品 ID),仍用
CASE WHEN+RAND()加盐,确保语义稳定 - 对未知或偶发倾斜,保留 AQE 作为兜底,防止某天突然涌入异常数据导致任务失败
- 两者共存不冲突:AQE 会在加盐后的 shuffle 阶段继续监控,必要时再对盐后子 key 做二次拆分
真正容易被忽略的是:AQE 的优化发生在 shuffle write 完成后、shuffle read 开始前,这意味着 driver 必须等第一个 stage 全部完成才能决策——如果原始数据就存在极端倾斜,第一个 stage 的某个 task 可能 OOM 或超时,根本等不到 AQE 发挥作用。所以,预估数据分布 + 设置合理的 spark.sql.adaptive.coalescePartitions.enabled(合并小 partition)仍是前置动作。

















