(4)pyspark---dataframe清理
1、交叉表(crosstab):
pandas中也有,常和pivot_table比较。
查看家庭ID与评分的交叉表:
2、处理缺失值:fillna
withColumn:新增一列数据
cast : 用于将某种数据类型的表达式显式转换为另一种数据类型
将缺失值删除:dropna
3、处理重复值
查看有没有重复值存在:distinct().count()
将重复值去除:dropDuplicates()
4、dataframe的agg应用:
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步