spark亚太研究院

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第五步）(7)

摘要：当我们在运行作业的过程中也可以查看Web控制台的信息：此时发现了一个作业ID，点击进入可以查看作业进一步的信息：进一步看通过Web控制台看SparkWorker1中的Container中的运行信息：刷新Web控制台：阅读全文

posted @ 2014-11-17 19:43 spark亚太研究院阅读(110) 评论(0) 推荐(0) 编辑

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第五步）（6）

摘要：结束historyserver的命令如下所示：第四步：验证Hadoop分布式集群首先在hdfs文件系统上创建两个目录，创建过程如下所示：Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果输出到/output/wordcount目录中，... 阅读全文

posted @ 2014-11-03 14:32 spark亚太研究院阅读(174) 评论(0) 推荐(0) 编辑

【互动问答分享】第18期决胜云计算大数据时代Spark亚太研究院公益大讲堂

摘要： Q1：Master和Driver的是同一个东西吗？两者不是同一个东西，在Standalone模式下Master是用于集群资源管理和调度的，而Driver适用于指挥Worker上的Executor通过多线的方式处理任务的； Master位于集群的管理节点，一般和 NameNode在同一个节点上； D... 阅读全文

posted @ 2014-10-31 15:00 spark亚太研究院阅读(236) 评论(0) 推荐(0) 编辑

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第五步）（5）

摘要：从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！第三步：启动yarn集群使用jps命令可以发现SparkMaster机器上启动了Res... 阅读全文

posted @ 2014-10-21 09:32 spark亚太研究院阅读(168) 评论(0) 推荐(0) 编辑

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第五步）（4）

摘要： 7,在SparkWorker1和SparkWorker2上完成和SparkMaster同样的Hadoop 2.2.0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容拷贝到SparkWorker1和SparkWorker2上;8,启动并验证Hadoop分布式集群第一... 阅读全文

posted @ 2014-10-16 13:57 spark亚太研究院阅读(239) 评论(0) 推荐(0) 编辑

2014年spark开发者大赛火热进行中！

摘要： “发现最有正能量的网络达人”，Spark开发者大赛火热进行！2014年9月30日，2014 Spark开发者大赛在北京正式启动。本次大赛由Spark亚太研究院联合国内领先的IT技术创新与发展的互联网媒体平台51CTO传媒及国内最大的IT在线教育平台51CTO学院在亚太范围内发起。面向云计算大数据从业... 阅读全文

posted @ 2014-10-14 17:34 spark亚太研究院阅读(163) 评论(0) 推荐(0) 编辑

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第五步）（3）

摘要：第四步修改配置文件slaves，如下所示：我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为：第五步修改配置文件core-site.xml，如下所示：把core-site.xml文件的内容修改为：上述是core-site.xml文件... 阅读全文

posted @ 2014-10-10 09:49 spark亚太研究院阅读(207) 评论(0) 推荐(0) 编辑

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第五步）（2）

摘要：把下载下来的“hadoop-2.2.0.tar.gz”拷贝到“/usr/local/hadoop/”目录下并解压：修改系统配置文件，修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中，修改完后使用source命令使配置生效。接下来在h... 阅读全文

posted @ 2014-10-09 14:13 spark亚太研究院阅读(169) 评论(0) 推荐(0) 编辑

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群（第五步）（1）

摘要：第一步：构造分布式Hadoop2.2.0集群1,在Windows 7（本教程中的Spark集群运行的机器是8G的Windows内存）上安装VMware虚拟机（我们安装的是VMware-workstation-full-9.0.2），本教程中的VMware Workstation下载地址： https... 阅读全文

posted @ 2014-10-08 13:18 spark亚太研究院阅读(212) 评论(0) 推荐(0) 编辑

【互动问答分享】第13期决胜云计算大数据时代Spark亚太研究院公益大讲堂

摘要： “决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第13期互动问答分享】Q1：tachyon+spark框架现在有很多大公司在使用吧? Yahoo!已经在长期大规模使用；国内也有公司在使用；Q2：impala和spark sql如何选择呢？ Impala已经被官方宣布“安乐死”，被... 阅读全文

posted @ 2014-09-28 10:46 spark亚太研究院阅读(198) 评论(0) 推荐(0) 编辑