随笔列表第5页 - spark亚太研究院

2014年9月9日

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第三步）（2）

摘要：安装SparkMaster、Slave1、Slave2这三台机器上均需要安装Spark。首先在Master上安装Spark，具体步骤如下：第一步：把Master上的Spark解压：我们直接解压到当前目录下：此时，我们创建Spark的目录“/usr/local/spark”:把解压后的“spark-1... 阅读全文

posted @ 2014-09-09 12:41 spark亚太研究院阅读(329) 评论(0) 推荐(0)

2014年9月5日

【互动问答分享】第10期决胜云计算大数据时代Spark亚太研究院公益大讲堂

摘要： “决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第10期互动问答分享】Q1：Spark on Yarn的运行方式是什么？Spark on Yarn的运行方式有两种：Client和Cluster模 Client模式如下所示： ... 阅读全文

posted @ 2014-09-05 13:51 spark亚太研究院阅读(219) 评论(0) 推荐(0)

2014年9月4日

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第三步）（1）

摘要：第一步：Spark集群需要的软件；在1、2讲的从零起步构建好的Hadoop集群的基础上构建Spark集群，我们这里采用2014年5月30日发布的Spark 1.0.0版本，也就是Spark的最新版本，要想基于Spark 1.0.0构建Spark集群，需要的软件如下：1.Spark 1.0.0，笔者这... 阅读全文

posted @ 2014-09-04 10:44 spark亚太研究院阅读(274) 评论(0) 推荐(0)

2014年9月3日

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第二步）（4）

摘要： 4.测试Hadoop分布式集群环境；首先在通过Master节点格式化集群的文件系统：输入“Y”完成格式化：格式化完成以后，我们启动hadoop集群：我们在尝试一下停止Hadoop集群：此时出现了“no datanode to stop”的错误，出现这种错误的原因如下：每次使用 “hadoop nam... 阅读全文

posted @ 2014-09-03 10:50 spark亚太研究院阅读(193) 评论(0) 推荐(0)

2014年9月2日

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第二步）（3）

摘要：首先修改Master的core-site.xml文件，此时的文件内容是：我们把“localhost”域名修改为“Master”:同样的操作分别打开Slave1和Slave2节点core-site.xml，把“localhost”域名修改为“Master”。其次修改Master、Slave1、Slav... 阅读全文

posted @ 2014-09-02 11:57 spark亚太研究院阅读(382) 评论(0) 推荐(0)

2014年9月1日

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第二步）（2）

摘要：进入第二台机器，看一下这台主机的IP地址：可以看出这台主机的IP地址是“192.168.184.131”.我们在/etc/hostname中把主机名称修改为“Slave1”:保存退出。为了使修改生效，我们重新启动该机器，此时查看主机名：表明我们的修改生效了。进入第三台机器，看一下这台主机的IP地址：... 阅读全文

posted @ 2014-09-01 10:07 spark亚太研究院阅读(310) 评论(0) 推荐(0)

2014年8月29日

Spark GraphX宝刀出鞘，图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark实战高手之路】

摘要： Spark GraphX宝刀出鞘，图文并茂研习图计算秘笈大数据的概念与应用，正随着智能手机、平板电脑的快速流行而日渐普及，大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地应用于社交网络、电子商务，地图等领域。对于图计算的两个核心问题：图存储模式和图计算模型，Spark Graph... 阅读全文

posted @ 2014-08-29 16:36 spark亚太研究院阅读(665) 评论(0) 推荐(0)

2014年8月28日

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第二步）（1）

摘要：在VMWare 中准备第二、第三台运行Ubuntu系统的机器；在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样，再次不在赘述。。与安装第一台Ubuntu机器不同的几点是：第一点：我们把第二、三台Ubuntu机器命名为了Slave1、Slave2，如下图所示：创建完的VMw... 阅读全文

posted @ 2014-08-28 16:38 spark亚太研究院阅读(424) 评论(0) 推荐(0)

2014年8月27日

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群-配置Hadoop伪分布模式并运行Wordcount（2）

摘要：执行文件拷贝操作拷贝后的“input”文件夹的内容如下所示：和我们的hadoop安装目录下的“conf”文件的内容是一样的。现在，在我们刚刚构建的伪分布式模式下运行wordcount程序：运行完成后我们查看一下输出的结果：部分统计结果如下：此时我们到达Hadoop的web控制台会发现我们提交并成功的... 阅读全文

posted @ 2014-08-27 11:05 spark亚太研究院阅读(312) 评论(0) 推荐(0)

2014年8月25日

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例（1）

摘要：第四步：配置Hadoop伪分布模式并运行Wordcount示例伪分布模式主要涉及一下的配置信息：修改Hadoop的核心配置文件core-site.xml，主要是配置HDFS的地址和端口号；修改Hadoop中HDFS的配置文件hdfs-site.xml，主要是配置replication;修改Hadoo... 阅读全文

posted @ 2014-08-25 15:48 spark亚太研究院阅读(562) 评论(0) 推荐(0)