04 2018 档案

spark优化参数调节和故障参数调节
摘要：SparkConf conf = new SparkConf() conf.set("spark.default.parallelism", "500") 阅读全文
posted @ 2018-04-24 21:06 soft.push("zzq") 阅读(933) 评论(0) 推荐(0)
spark-sql缩减版样例：获取每日top3搜索词和各自的次数，包括总次数
摘要：//获取出每天前3的搜索词 ArrayList log = new ArrayList(); log.add("2015-10-01,leo,a1,beijing,android"); log.add("2015-10-01,leo,a1,beijing,android"); log.add("2015-10-01,tom,a1,b... 阅读全文
posted @ 2018-04-10 22:50 soft.push("zzq") 阅读(571) 评论(0) 推荐(0)
spark-sql自定义函数UDF和UDAF
摘要：1 UDF对每个值进行处理； 2 UDAF对分组后的每个值处理（必须分组） UDAF实体： 阅读全文
posted @ 2018-04-09 12:07 soft.push("zzq") 阅读(688) 评论(0) 推荐(0)
spark-sql分组去重总数统计uv
摘要：SparkConf sparkConf = new SparkConf(); sparkConf .setAppName("Internal_Func") .setMaster("local"); JavaSparkContext javaSparkContext = new JavaSparkCo... 阅读全文
posted @ 2018-04-08 20:09 soft.push("zzq") 阅读(5149) 评论(0) 推荐(1)
spark-sql jdbc操作mysql
摘要：SparkConf sparkConf = new SparkConf() .setMaster("local") .setAppName("MySqlTest"); JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf); ... 阅读全文
posted @ 2018-04-08 10:34 soft.push("zzq") 阅读(518) 评论(0) 推荐(0)
spark-sql集合的“条件过滤”，“合并”，“动态类型映射DataFrame”，“存储”
摘要：List basicList = new ArrayList(); basicList.add("{\"name\": \"zzq\",\"age\": 15}"); basicList.add("{\"name\": \"zzq1\",\"age\": 25}"); basicList.add("{\"name\": \"zzq2\",\"a... 阅读全文
posted @ 2018-04-06 12:47 soft.push("zzq") 阅读(1414) 评论(0) 推荐(0)
spark-sql中的DataFrame文件格式转储示例
摘要：SparkConf sparkConf = new SparkConf() // .setMaster("local") .setAppName("DataFrameTest1"); JavaSparkContext javaSparkContext = new JavaSparkContext(sparkC... 阅读全文
posted @ 2018-04-05 15:28 soft.push("zzq") 阅读(385) 评论(0) 推荐(0)
spark-sql将Rdd转换为DataFrame进行操作的两种方法
摘要：文本文件的内容： 由上述代码可以看出，KK是一个实体类型并且可序列化（Serializable）！ 阅读全文
posted @ 2018-04-04 15:37 soft.push("zzq") 阅读(1103) 评论(0) 推荐(0)
spark优化设置
摘要：-》》》配置参数优化 SparkConf sc = new SparkConf().setAppName("com.sp.test.GroupTop3").setMaster("local") .set("spark.shuffle.consolidateFiles", "true")//优化1：开启shuffleGroup，避免shuffleMapTask创... 阅读全文
posted @ 2018-04-03 12:33 soft.push("zzq") 阅读(220) 评论(0) 推荐(0)