2015 年 3月 20 日随笔档案 - GZ.Jackey

2015年3月20日

Spark Standalone Mode 多机启动 -- 分布式计算系统spark学习(二)（更新一键启动slavers）

摘要：捣鼓了一下，先来个手动挡吧。自动挡要设置ssh无密码登陆啥的，后面开搞。一、手动多台机链接master手动链接master其实上篇已经用过。这里有两台机器：10.60.215.41 启动master、worker1、application(spark shell)10.0.2.15 启动worker... 阅读全文

posted @ 2015-03-20 18:54 GZ.Jackey 阅读(5443) 评论(1) 推荐(0) 编辑

Spark Standalone Mode 单机启动Spark -- 分布式计算系统spark学习(一)

摘要： spark是个啥？Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。Spark和Hadoop有什么不同呢?Spark是基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存... 阅读全文

posted @ 2015-03-20 11:21 GZ.Jackey 阅读(28703) 评论(0) 推荐(0) 编辑