F.array

F.array() 是 PySpark 中的一个函数，用于将多个列组合成一个数组类型的列。F 通常是 pyspark.sql.functions 模块的简写方式，便于调用。

语法

  pyspark.sql.functions.array(*cols)


参数

  *cols: 需要组合成数组的多个列。这些列可以是直接传入的列名（字符串）或使用 F.col("column_name") 指定的列对象。

返回值

  F.array() 返回一个数组类型（ArrayType）的列，数组中的每个元素是原始列的值，且顺序保持一致。

使用场景

• 将多列组合为一列：在某些情况下，你可能需要将多列的数据组合为一个数组，方便进行进一步的处理。
• 结构化数据：将多列的值合并到一个数组中，作为后续操作的输入，比如 F.explode() 或者数据转换。

示例

  假设你有一个 DataFrame df，包含三列 col1, col2, col3，如下所示：

col1	col2	col3
A	1	100
B	2	200
C	3	300

  你可以使用 F.array() 将这三列组合成一个数组列：

from pyspark.sql import functions as F

# 使用 F.array() 将三列组合为一个数组列
df = df.withColumn("combined", F.array("col1", "col2", "col3"))

# 展示结果
df.show(truncate=False)

  结果

col1	col2	col3	combined
A	1	100	["A", 1, 100]
B	2	200	["B", 2, 200]
C	3	300	["C", 3, 300]

 

注意事项

• 数据类型：F.array() 可以组合不同类型的列（如字符串、整数、浮点数等），但要注意在一些操作中，混合类型可能需要额外的处理。
• 嵌套数组：如果输入的列已经是数组类型，F.array() 会将这些数组作为元素嵌套在新数组中。

其他示例

• 组合特定列：

  df = df.withColumn("partial_combined", F.array("col1", "col3"))

  结果中 partial_combined 列会包含 col1 和 col3 的组合。

• 与其他函数结合使用： 结合 F.explode()，可以将数组列拆分成多行：

  df = df.withColumn("exploded", F.explode(F.array("col1", "col2", "col3")))

• 动态列选择： 在某些情况下，你可以动态选择列名并传入 F.array()：

  selected_columns = ["col1", "col2"]
  df = df.withColumn("dynamic_array", F.array(*[F.col(c) for c in selected_columns]))

通过 F.array()，你可以灵活地将多个列组合成数组，适用于各种数据转换、分析场景，尤其是在需要将多个值组合成一个结构化的字段时非常有用。