Spark2-对于Null/Nan的处理

    在Scala中,Double类型的空值保存为NaN,其他保存为null。对于Double可以直接使用:bianliang.isNaN判断其是否是空值,那么在一个多行多列的DataSet或者DataFrame中怎么进行处理呢。

一、几种查找空值的方法

1、Column方法

    column.isNull/column.isNotNull/column.isNaN

  1. df("col1").isNull
  2. df.filter(df("col1").isNull)就可以获取所有col1列为空值的行了。
  3. //获取col1字段所有空列
  4. df.filter(df("col1").isNull).count()
  5. df.filter(df("col1").isNotNull).count()

2、类sql方法

  1. //获取col1字段所有空列
  2. data1.filter("col1 is null").select("col1").limit(10).show
  3. //获取col1字段的所有非空列
  4. data1.filter("col1 is not null").select("col1").limit(10).show
  5. data1.filter("col1 <>''").select("col1").limit(10).show

二、na方法

  1. val naDF:DataFrameNaFunctions=df.na

调用na方法会返回一个DataFrameNaFunctions。其只有3个方法,drop、fill、replace。

2.1 na.drop方法

2.1.1 删除所有列的空值以及NaN

  1. val resNull=df.na.drop()

返回一个新DF,剔除了包含空值的行。

2.1.2 删除某一列的空值和NaN

  1. val res =df.na.drop(Array("col1","col2"))

2.1.3 删除某一列的非空非NaN但是值低于10的。

  1. df.na.drop(10,Array("col1","col2"))

2.2 na.fill方法

2.2.1 填充所有空值的列

  1. val res123=df.na.fill("新值")
  2. val res123=df.na.fill(10)​

2.2.2 对指定的空值进行填充

    传入一个值,以及所有需要用此值填充的Array,或者使用Map,按照列进行不同填充。

  1. val res2=data1.na.fill(value="wangxiao111",cols=Array("gender","yearsmarried") )
  2. val res3=data1.na.fill(Map("gender"->"wangxiao222","yearsmarried"->"wangxiao567") )

2.3 na.replace方法

2.3.1 将指定列的指定值替换为对应的值

  1. df.na.replace("col1",Map(1->2)) //将col1列的值为1替换为2.
  2. df.na.replace(Array("col1","col2"),Map(1->2))​​
  3. df.na.replace[Int]("col1",Map(1->2))//可以添加泛型,Map中的key和value类型必须与其保持一致。

posted on 2018-11-16 11:24  厚积!!  阅读(1267)  评论(0编辑  收藏  举报

导航