2020年8月4日
spark 学习笔记 show()
摘要： def show(numRows: Int): Unit = show(numRows, truncate = true) /** * Displays the top 20 rows of Dataset in a tabular form. Strings more than 20 charac 阅读全文
posted @ 2020-08-04 14:12 bioamin 阅读(3158) 评论(0) 推荐(0) 编辑
spark 学习笔记 sample 算子
摘要： def sample( withReplacement: Boolean, fraction: Double, seed: Long = Utils.random.nextLong): RDD[T] = { require(fraction >= 0, s"Fraction must be nonn 阅读全文
posted @ 2020-08-04 13:28 bioamin 阅读(1152) 评论(0) 推荐(0) 编辑
spark 学习笔记 dataframe注册生成表
摘要： DataFrame注册成一张表格，如果通过CreateTempView这种方式来创建，那么该表格Session有效，如果通过CreateGlobalTempView来创建，那么该表格跨Session有效，但是SQL语句访问该表格的时候需要加上前缀global_temp dataframe 转换为临时 阅读全文
posted @ 2020-08-04 11:30 bioamin 阅读(1195) 评论(0) 推荐(0) 编辑