F.regexp_replace

 F.regexp_replace 是 PySpark 中用于在 DataFrame 的列中执行正则表达式替换操作的函数。它可以用来匹配字符串中的某些模式，并用指定的字符串替换这些模式。

使用场景

• 清理数据中的特定字符或模式（如去除特殊字符、替换特定的子字符串）。
• 标准化数据格式（如替换日期格式、移除多余的空格）。
• 替换不符合预期的值。
• 语法：

  from pyspark.sql.functions import regexp_replace
  
  regexp_replace(column, pattern, replacement)

  • column：要操作的DataFrame列，可以是列名或列对象。
  • pattern：正则表达式模式，用于匹配要替换的部分。
  • replacement：用于替换匹配部分的字符串。

示例

• 假设你有一个包含人名的DataFrame，但名字中有多余的空格或特殊字符，你想要将它们移除或替换。

• from pyspark.sql import SparkSession
  from pyspark.sql.functions import regexp_replace
  
  # 创建一个SparkSession
  spark = SparkSession.builder.appName("example").getOrCreate()
  
  # 创建示例DataFrame
  data = [("Alice#",), ("Bo@b",), ("Char^lie",)]
  df = spark.createDataFrame(data, ["name"])
  
  # 使用regexp_replace来替换特殊字符
  df_cleaned = df.withColumn("cleaned_name", regexp_replace("name", r"[^a-zA-Z]", ""))
  
  df_cleaned.show()

  输出：

• +---------+-----------+
  |     name|cleaned_name|
  +---------+-----------+
  |   Alice#|      Alice|
  |     Bo@b|        Bob|
  | Char^lie|    Charlie|
  +---------+-----------+

  解释：

  • regexp_replace("name", r"[^a-zA-Z]", "")：这个表达式的意思是将name列中所有非字母的字符替换为空字符串，从而移除这些字符。
  • r"[^a-zA-Z]"：这是一个正则表达式，表示匹配所有非字母的字符。
  • ""：表示将匹配到的非字母字符替换为空字符。

其他示例

1. 替换日期格式：

假设你有一个包含日期的列，格式为 MM-DD-YYYY，你想要将其转换为 YYYY-MM-DD。

• df = spark.createDataFrame([("12-25-2023",), ("01-01-2024",)], ["date"])
  
  df_formatted = df.withColumn("formatted_date", regexp_replace("date", r"(\d{2})-(\d{2})-(\d{4})", r"\3-\1-\2"))
  
  df_formatted.show()

  输出：

• +----------+--------------+
  |      date|formatted_date|
  +----------+--------------+
  |12-25-2023|    2023-12-25|
  |01-01-2024|    2024-01-01|
  +----------+--------------+

  2. 去除字符串中的多余空格：

• df = spark.createDataFrame([("  Alice   ",), ("  Bob",)], ["name"])
  
  df_trimmed = df.withColumn("trimmed_name", regexp_replace("name", r"^\s+|\s+$", ""))
  
  df_trimmed.show()

  输出：

• +---------+------------+
  |     name|trimmed_name|
  +---------+------------+
  |  Alice   |       Alice|
  |      Bob|         Bob|
  +---------+------------+