Spark中对DataFrame的基础操作:列增加,列删除,行增加,列名更换,排序等等
可以使用select和selectExpr来操作DataFrame中的列
例如查询:DEST_COUNTRY,ORIGIN_COUNTRY
val path="/Volumes/Data/BigData_code/data/flight-data/json/2015-summary.json"
val dataDF = spark.read.format("json").load(path)
val dataSelect = dataDF.select("DEST_COUNTRY_NAME", "ORIGIN_COUNTRY_NAME")
dataSelect.show(2)
新增一列
判断目的国家和起飞国家是否是同一个。
//创建一个新的列,用来表示目的国家和源国家是否是同一国家
dataDF.selectExpr(
"*", "(DEST_COUNTRY_NAME = ORIGIN_COUNTRY_NAME) as inCountry"
).show(30)
使用withColumn添加列
//添加1列
dataDF.withColumn("numberOne", lit(1)).show(10)
删除一列
//删除列
//方法1:
dataDF.selectExpr("DEST_COUNTRY_NAME", "count").show(2)
//方法2:
dataDF.drop("ORIGIN_COUNTRY_NAME").show(2)
连接和追加行(联合操作)
注意:DataFrame是不可变的,这意味着用户不能追加行,只能将想要添加的行生成ROW对象,然后再生成DataFrame,再将两个DataFrame进行拼接
dataDF.printSchema()
//将需要连接的Schema赋值给需要创建的DataFrame中(因为两个DataFrame连接需要Schema模式相同)
val mySchema = dataDF.schema
//创建Row对象的list
val rowList = List(Row("NewCountry", "OtherCountry", 2L), Row("NewCountry2", "OtherCountry", 5L))
//创建RDD
val myrdd = sc.makeRDD(rowList)
//创建新的DataFrame
val newDF = spark.createDataFrame(myrdd, mySchema)
//将两者进行连接
newDF.union(dataDF).show(20)
会用select语句,我们还可以使用系统预定义好的聚合函数来指定在整个DataFrame上的聚合操作。
//使用系统已经有的函数,求所有数据的count的平均值,并求出有多少不同的目的国家
dataDF.selectExpr("avg(count)", "count(distinct(DEST_COUNTRY_NAME))").show(2)
字面量
dataDF.select(expr("*"), lit(1).as("one")).show(3)
注意:无法一次性添加多个列。一次性添加多个列,可以先将新列生成一个DataFrame,然后再进行连接即可。
修改列名:
//修改列的名字:
//方法1:
dataDF.select(expr("DEST_COUNTRY_NAME as dest"), expr("ORIGIN_COUNTRY_NAME"), expr("count")).show(2)
//方法2:
dataDF.selectExpr("DEST_COUNTRY_NAME as dect", "ORIGIN_COUNTRY_NAME", "count").show(2)
//方法3:
dataDF.withColumnRenamed("DEST_COUNTRY_NAME", "dest").show(2)
行操作
过滤行
在DataFrame上实现过滤有两种方法:
- 创建一个字符串表达式:使用where
- 通过列操作来构建表达式:使用filter
下面我们只要count<2的所有行
val dataDF = spark.read.format("json").load(path)
dataDF.where("count < 2").show(20)
多个条件之间的关系为‘and’时
dataDF.where("count > 2").where("count < 4").show(20)
去重操作
dataDF.selectExpr("DEST_COUNTRY_NAME", "ORIGIN_COUNTRY_NAME").distinct().show(20)
排序
//排序
//方法1:
dataDF.sort("count", "DEST_COUNTRY_NAME").show(2) //默认升序
//方法2:
dataDF.sort(asc("count"), desc("DEST_COUNTRY_NAME")).show(2) //asc指定升序,desc指定降序
//方法3:
dataDF.sort(expr("count asc"), expr("DEST_COUNTRY_NAME desc")).show(2)
//方法4:
dataDF.orderBy(desc("count"), asc("DEST_COUNTRY_NAME")).show(2)
//方法5:
dataDF.orderBy(expr("count asc"), expr("DEST_COUNTRY_NAME desc")).show(2)
一个高级技巧是你可以指定空值在排序列表中的位置,使用asc_nulls_first指示空值安排在升序排列的前面,使用desc_nulls_first指示空值安排在降序排列的前面,使用asc_nulls_last指示空值安排在升序排列的后面,使用desc_nulls_last指示空值安排在降序排列的后面。
还有一种排序是分区内进行排序。这样做能够大大提高性能。使用的函数是sortWithinPartitions