本文介绍在 pyspark（≥3.4）中，将固定长度数组（如 [5,4,3,4,1,0]）按需循环展开为等长扁平序列（如重复 5 次得 30 个元素），并作为新列添加到 dataframe 的高效方法。
在 PySpark 中，若需将一个长度为 n 的数组（例如 [5,4,3,4,1,0]）循环展开为长度为 n × k 的一维序列（如重复 5 次得到含 30 个元素的列表），不能直接使用 repeat()（该函数作用于字符串或标量），也不能仅用 array_repeat()——因为它返回的是嵌套数组（如 [[5,4,3,4,1,0], [5,4,3,4,1,0], ...]），而我们需要的是展平后的一维数组列。
自 PySpark 2.4.0 起，推荐使用 array_repeat 与 flatten 函数组合实现：
from pyspark.sql import SparkSession
import pyspark.sql.functions as F
spark = SparkSession.builder.appName("RepeatArray").getOrCreate()
# 示例：原始 DataFrame 含单列 array（6 元素）
df = spark.createDataFrame([([5, 4, 3, 4, 1, 0], )], ["array"])
# ✅ 正确方式：先重复数组，再展平
df_with_repeated = df.withColumn(
"repeated_sequence",
F.flatten(F.array_repeat(F.col("array"), 5))
)
df_with_repeated.show(truncate=False)输出效果：
+------------------+------------------------------------------------------------------------------------------+ |array |repeated_sequence | +------------------+------------------------------------------------------------------------------------------+ |[5, 4, 3, 4, 1, 0]|[5, 4, 3, 4, 1, 0, 5, 4, 3, 4, 1, 0, 5, 4, 3, 4, 1, 0, 5, 4, 3, 4, 1, 0, 5, 4, 3, 4, 1, 0]| +------------------+------------------------------------------------------------------------------------------+
⚠️ 注意事项：array_repeat(col, count) 要求 count 为非负整数（Int 类型），且 col 必须是 ArrayType 列；flatten() 仅对嵌套一层的数组有效（即 Array → Array），不支持多层嵌套；若原始 DataFrame 有 30 行，且你希望每行生成独立的重复序列（而非全表共用同一数组），需确保 array 列本身已按行提供（例如通过 lit() 或 array() 构造）；若所有行需相同序列，可先构造单行再 crossJoin 或使用 broadcast 优化；对于超大表，此操作无 shuffle，性能高效，但需注意内存中数组大小（30 行 × 每行 30 元素 = 900 元素，完全可控）。
最终，该列可直接用于后续计算、分区键、特征工程等场景，满足结构化循环填充需求。
