Spark中自定义函数
UDF可以将一个或者多个列作为输入,同时也可以返回一个或者多个列。在一般情况下,这些函数被注册为SparkSession或者Countext的临时函数。
注册成DataFrame的函数
案例:向UDF中注册一个3次幂函数的自定函数
函数:
def pow3(number:Double)={
number*number*number
}
注册:
def pow3(number:Double)={
number*number*number
}
上面的方法只能将pow3udf在DataFrame中使用,而不能在字符串表达式中使用。
Spark SQL函数
def pow3(number:Double)={
number*number*number
}