12 2019 档案
摘要:最近看了一遍hive的文档,本文是为了记录文档中将来会可用东西,并非最全的《文档》,望谅解 一:建表语句 drop table window_test; create external table if not exists window_test ( name string, score stri
阅读全文
摘要:一:广播变量 //广播变量其实就是将一个变量传播到每个excetor,实现excetor共享同一个只读变量. //其中有一个难题就是,动态广播变量.我在实验过程中只是实现了不同job的广播变量更改,对于有N分钟修改一次还没有试验出更好的方法 import org.apache.spark.api.j
阅读全文
摘要:一:rdd聚合操作 1.count val conf = new SparkConf().setAppName("HelloWorld").setMaster("local") val sc = new JavaSparkContext(conf).sc val dataLength = sc.te
阅读全文
摘要:一:变换操作 rdd中有元组,元组只能是key,value结构,适用于下面很多方法 1.map val conf = new SparkConf().setAppName("HelloWorld").setMaster("local") val sc = new JavaSparkContext(c
阅读全文
摘要:一:类型参数 1.泛型类 //泛型类,基本和java是一致的 class Pair[T,S](val first:T,val second:S) val pair1 = new Pair("42",42) val pair2 = new Pair[Any,Any](42,"42") 2.泛型函数 /
阅读全文