摘要: spark是什么? spark开源的类Hadoop MapReduce的通用的并行计算框架 spark基于map reduce算法实现的分布式计算 拥有Hadoop MapReduce所具有的优点 但不同于MapReduce的是Job中间输出和结果可以保存在内存中 从而不再需要读写... 阅读全文
posted @ 2015-05-11 20:52 蒋源德 阅读(420) 评论(0) 推荐(0) 编辑
摘要: 首先交代一下集群的规模和配置 集群有六台机器,均是VM虚拟机,每台256M的内存(原谅楼主物理机硬件不太给力) 主机名分别是cloud1~cloud6 每台机器上都装有jdk6,和hadoop-2.2.0 其中cloud4~cloud6上装有zookeeper cloud1为hdf... 阅读全文
posted @ 2015-05-11 00:16 蒋源德 阅读(503) 评论(0) 推荐(0) 编辑