本文介绍如何使用 pyspark 正确拼接两个类型为 `array
在 PySpark 中，对 array 类型列执行 concat() 操作时，若任一输入列为 NULL，整个 concat() 表达式将返回 NULL —— 这是 Spark 的三值逻辑行为（NULL 参与运算结果仍为 NULL）。你无法直接用 lit("") 或空字符串作为 coalesce 的备选值，因为 coalesce() 要求所有参数类型严格一致：reference 是 array
✅ 正确做法是：使用 array() 函数生成一个空数组（类型与目标列完全一致），作为 coalesce 的默认值。array() 不带参数时返回空数组，且其类型可由上下文自动推断为与同组非空列一致的 array
以下是完整、可运行的解决方案：
Remix V2 Meta Sessions Review
下载
审查 Remix v2 代码中的 v1 形态 meta 导出（v2 中为破坏性变更），cookie 安全漏洞（httpOnly、secure、密钥轮换），认证门位于错误层级，以及其他
from pyspark.sql import SparkSession
from pyspark.sql.functions import concat, coalesce, array, col
# 示例数据构建（可选，用于验证）
data = [
(1, [{"key": "US", "timestamp": "2024-01-08"}], [{"key": "UK", "timestamp": "2024-01-08"}]),
(2, [{"key": "US", "timestamp": "2024-01-08"}], None),
]
df = spark.createDataFrame(data, "id: int, country: array<struct<key: string, timestamp: string>>, reference: array<struct<key: string, timestamp: string>>")
# ✅ 关键修复：用 array() 提供类型兼容的空数组默认值
result_df = df.select(
"id",
concat(
col("country"),
coalesce(col("reference"), array()) # ← 正确！array() 返回空数组，类型自动匹配
).alias("concatenated_column")
)
result_df.show(truncate=False)输出结果：
+---+---------------------------------------------+
|id |concatenated_column |
+---+---------------------------------------------+
|1 |[{US, 2024-01-01}, {UK, 2024-01-01}] |
|2 |[{US, 2024-01-01}] |
+---+---------------------------------------------+⚠️ 注意事项：
- array() 是类型安全的空数组构造器；切勿使用 lit([])（返回 array
）或 lit(None)（类型不可推断）； - 若字段含嵌套 timestamp 类型，请确保结构体定义中时间字段类型为 timestamp（如 struct
- concat() 对数组列是横向拼接（union of elements），不是字符串连接，因此无需 cast 或 toString；
- 在较老 Spark 版本（>")。
总结：解决 concat 因 NULL 失效的核心在于「类型对齐」——coalesce 的备选项必须与原列同构。array() 是 PySpark 中唯一能零成本生成泛型空数组的函数，是处理 array 列 NULL 合并问题的标准实践。
