2019 年 10月 20 日随笔档案 - Kotlin

2019年10月20日

摘要：有了上面四篇文章，再加上一些异常处理、优化，开发基本就没什么问题了。下面我们开始：一：SparkSql异常处理 1.将类转换为DF 实际开发过程中有很多需要将一个数字或者汇聚出来的数据转换为DF的需求这时候可以将数字或者数据转换成一个类，将类转换为DF val data = scala.coll 阅读全文

posted @ 2019-10-20 22:58 Kotlin 阅读(1655) 评论(0) 推荐(0) 编辑

sparksql系列(四) sparksql 操作数据库

摘要：一：SparkSql操作mysql 老规矩：先抽出来公共的方法： import java.util.Arrays import org.apache.spark.SparkConf import org.apache.spark.api.java.JavaSparkContext import or 阅读全文

posted @ 2019-10-20 13:23 Kotlin 阅读(1183) 评论(0) 推荐(0) 编辑

sparksql系列(三) sparksql列操作、窗口函数、join

摘要：一：Sparksql列操作 1.初始化SparkContext及数据： import java.util.Arrays import org.apache.spark.SparkConf import org.apache.spark.api.java.JavaSparkContext import 阅读全文

posted @ 2019-10-20 10:13 Kotlin 阅读(1938) 评论(0) 推荐(0) 编辑

Kotlin

公告