spark sql 的 lag/lead 函数仅支持标量字面量作为默认值，但可通过 coalesce 组合 lag/lead 与目标列，实现“空值时回退到同表另一列”的动态默认行为。
spark sql 的 lag/lead 函数仅支持标量字面量作为默认值，但可通过 coalesce 组合 lag/lead 与目标列，实现“空值时回退到同表另一列”的动态默认行为。
在使用 Spark SQL 的窗口函数 lag() 和 lead() 时，其第三个参数（defaultValue）常被用于填补边界位置产生的 null 值。然而，与标准 SQL 不同，Spark 的 Scala/Java API 不支持直接传入列引用（如 col("fallback_col")）作为该默认值——它仅接受常量表达式（如 lit(-1)、lit(null) 或字面量），否则会抛出 AnalysisException。
要实现“当 lag/lead 返回 null 时，自动取当前行另一列的值”这一需求（例如用 DEFAULT_NUM_DAY 列替代缺失的前一行数值），正确解法是：将 lag 或 lead 表达式本身作为 coalesce 的第一个参数，再追加目标列作为备选值。coalesce 会按顺序返回首个非 null 值，天然适配此场景。
✅ 正确写法示例（Java/Scala 通用逻辑）：
import static org.apache.spark.sql.functions.*;
dataset
.withColumn("LAST_NUM_DAY",
coalesce(
lag(col("NUM_DAY"), 1).over(someSpec), // 注意：此处 defaultValue 省略，让其自然为 null
col("DEFAULT_NUM_DAY") // 当 lag 结果为 null 时，取本行 DEFAULT_NUM_DAY
)
)
.withColumn("NEXT_NUM_DAY",
coalesce(
lead(col("NUM_DAY"), 1).over(someSpec),
col("DEFAULT_NUM_DAY")
)
);⚠️ 关键注意事项：
- 不要向
lag/lead传入col("...")作为第三个参数（非法，会编译/运行失败）； -
coalesce的参数顺序很重要：应将窗口函数结果放在首位，备用列紧随其后； - 若需 fallback 列也参与窗口计算（如取分组内某统计值），需确保该列已在
withColumn前完成计算或通过select(...).withColumn(...)链式调用保障依赖顺序； -
lag(col("NUM_DAY"), 1, lit(-1))这类写法虽合法，但-1是硬编码值，无法动态响应每行差异；而coalesce(lag(...), col("X"))才真正实现“行级动态默认”。
该方案简洁、高效，且完全基于 Spark SQL 内置函数，无需 UDF 或复杂 join，是生产环境中推荐的标准实践。
