2021 年 2月 14 日随笔档案 - 陕西小楞娃

2021年2月14日

摘要：官网 http://spark.apache.org/ 下载spark-2.3.4-bin-hadoop2.6.tgz 单机启动进入 bin 目录启动 ./spark-shell 测试： sc.textFile("/tmp/spark/test.txt").flatMap(x => x.spli 阅读全文

posted @ 2021-02-14 21:14 陕西小楞娃阅读(112) 评论(0) 推荐(0) 编辑

spark_分组取topN

摘要：数据 2019-6-1 39 2019-5-21 33 2019-6-1 38 2019-6-2 31 2018-3-11 18 2018-4-23 22 1970-8-23 23 1970-8-8 32 方法一： val conf = new SparkConf().setAppName("ove 阅读全文

posted @ 2021-02-14 14:44 陕西小楞娃阅读(133) 评论(0) 推荐(0) 编辑