摘要: 原文引自:http://blog.csdn.net/fengzhimohan/article/details/78471952 项目应用需要利用Spark读取mysql数据进行数据分析,然后将分析结果保存到mysql中。 开发环境: java:1.8 IDEA spark:1.6.2 一.读取mys 阅读全文
posted @ 2017-12-25 15:39 jinggangshan 阅读(21452) 评论(2) 推荐(0) 编辑
摘要: 原文引自:http://blog.csdn.net/fengzhimohan/article/details/78564610 a. 案例描述 本案例假设我们需要对某个省的人口 (10万) 性别还有身高进行统计,需要计算出男女人数,男性中的最高和最低身高,以及女性中的最高和最低身高。本案例中用到的源 阅读全文
posted @ 2017-12-25 14:43 jinggangshan 阅读(1122) 评论(0) 推荐(0) 编辑
摘要: 原文引自:http://blog.csdn.net/fengzhimohan/article/details/78535143 该案例中,我们将假设我们需要统计一个 10 万人口的所有人的平均年龄,当然如果您想测试 Spark 对于大数据的处理能力,您可以把人口数放的更大,比如 1 亿人口,当然这个 阅读全文
posted @ 2017-12-25 14:10 jinggangshan 阅读(2494) 评论(0) 推荐(0) 编辑
摘要: 在github上有spark-java8 实例地址: https://github.com/ypriverol/spark-java8 https://github.com/ihr/java8-spark 学些java8 Lambda Expressions 的可以参考下,同时自己也做下比较。 ja 阅读全文
posted @ 2017-12-25 13:52 jinggangshan 阅读(1641) 评论(0) 推荐(0) 编辑
摘要: 原文引自:https://www.cnblogs.com/yxpblog/p/5269314.html 在开始之前,我先介绍一下,RDD是什么? RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看,RDD可以简单看成是一个数组。和普通数组的区别是,RDD 阅读全文
posted @ 2017-12-25 09:47 jinggangshan 阅读(3227) 评论(0) 推荐(0) 编辑