12 2019 档案

摘要:最近看了一遍hive的文档,本文是为了记录文档中将来会可用东西,并非最全的《文档》,望谅解 一:建表语句 drop table window_test; create external table if not exists window_test ( name string, score stri 阅读全文
posted @ 2019-12-31 23:33 Kotlin 阅读(945) 评论(0) 推荐(0) 编辑
摘要:一:广播变量 //广播变量其实就是将一个变量传播到每个excetor,实现excetor共享同一个只读变量. //其中有一个难题就是,动态广播变量.我在实验过程中只是实现了不同job的广播变量更改,对于有N分钟修改一次还没有试验出更好的方法 import org.apache.spark.api.j 阅读全文
posted @ 2019-12-16 00:03 Kotlin 阅读(206) 评论(0) 推荐(0) 编辑
摘要:一:rdd聚合操作 1.count val conf = new SparkConf().setAppName("HelloWorld").setMaster("local") val sc = new JavaSparkContext(conf).sc val dataLength = sc.te 阅读全文
posted @ 2019-12-15 23:47 Kotlin 阅读(973) 评论(0) 推荐(0) 编辑
摘要:一:变换操作 rdd中有元组,元组只能是key,value结构,适用于下面很多方法 1.map val conf = new SparkConf().setAppName("HelloWorld").setMaster("local") val sc = new JavaSparkContext(c 阅读全文
posted @ 2019-12-08 21:23 Kotlin 阅读(277) 评论(0) 推荐(0) 编辑
摘要:一:类型参数 1.泛型类 //泛型类,基本和java是一致的 class Pair[T,S](val first:T,val second:S) val pair1 = new Pair("42",42) val pair2 = new Pair[Any,Any](42,"42") 2.泛型函数 / 阅读全文
posted @ 2019-12-08 12:04 Kotlin 阅读(176) 评论(0) 推荐(0) 编辑

Live2D
点击右上角即可分享
微信分享提示
西雅图
13:14发布
西雅图
13:14发布
4°
东风
3级
空气质量
相对湿度
92%
今天
多云
3°/15°
周四
4°/15°
周五
4°/14°