摘要: 把每条数据设置相同key通过groupByKey把所有数据合成一个集合最后求极值 阅读全文
posted @ 2018-05-14 11:42 zzhangyuhang 阅读(782) 评论(0) 推荐(0) 编辑
摘要: 把数据转化成为键值对后采用sortByKey进行排序 阅读全文
posted @ 2018-05-14 11:00 zzhangyuhang 阅读(1794) 评论(0) 推荐(0) 编辑
摘要: 用maven建立spark的项目 阅读全文
posted @ 2018-05-10 11:36 zzhangyuhang 阅读(3659) 评论(0) 推荐(0) 编辑
摘要: 用spark读取hbase数据 阅读全文
posted @ 2018-05-10 11:24 zzhangyuhang 阅读(7567) 评论(0) 推荐(0) 编辑
摘要: 读取本地文件+spark-sumbit参数+hdfs使用 阅读全文
posted @ 2018-05-09 22:32 zzhangyuhang 阅读(1885) 评论(0) 推荐(0) 编辑
摘要: spark架构以及原理 阅读全文
posted @ 2018-05-09 10:01 zzhangyuhang 阅读(242) 评论(0) 推荐(0) 编辑
摘要: 文件读写+JSON数据解析 阅读全文
posted @ 2018-05-08 10:46 zzhangyuhang 阅读(23818) 评论(0) 推荐(0) 编辑
摘要: 广播变量和累加器 阅读全文
posted @ 2018-05-07 22:15 zzhangyuhang 阅读(1002) 评论(0) 推荐(0) 编辑
摘要: 读写文件+控制台输入 阅读全文
posted @ 2018-05-07 14:01 zzhangyuhang 阅读(176) 评论(0) 推荐(0) 编辑
摘要: 可变参数的使用 阅读全文
posted @ 2018-05-07 12:38 zzhangyuhang 阅读(1212) 评论(0) 推荐(0) 编辑