(4)pyspark---dataframe清理

Top~~

1、交叉表(crosstab):

pandas中也有,常和pivot_table比较。

查看家庭ID与评分的交叉表:

Top~~

2、处理缺失值:fillna

withColumn:新增一列数据

cast : 用于将某种数据类型的表达式显式转换为另一种数据类型

 将缺失值删除:dropna

Top~~

3、处理重复值

查看有没有重复值存在:distinct().count()

将重复值去除:dropDuplicates()

 4、dataframe的agg应用:

 

posted on   吱吱了了  阅读(1869)  评论(0编辑  收藏  举报

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示