|
||
|
摘要：
mesos的具体安装过程可以参考我的上一篇日志《mesos安装总结》。安装Spark之前要在所有的主机上先安装JDK和Scala。JDK的安装过程就不赘述了。下面简单介绍一下Scala 2.9.2的安装过程。每台主机上都要安装！！！！首先，从scala官方网站下载scala 2.9.2的压缩包接着，使用命令tar zxvfscala-2.9.2.tgz解压文件，得到文件夹scala-2.9.2。然后，在用户主目录下创建一个名为.scala的文件夹，将scala-2.9.2拷贝到.scala目录下。最后，修改～/.bashrc文件，在其中添加如下两行：export SCALA_HOME=/hom 阅读全文
posted @ 2012-12-26 23:23 Jason Koo 阅读(4100) 评论(2) 推荐(0) 编辑
摘要：
mesos的具体安装过程可以参考我的上一篇日志《mesos安装总结》。本篇日志主要介绍在mesos之上安装Hadoop。mesos0.9.0的解压包中包含了Hadoop 0.20.205.0版本及相应的补丁程序。可以使用mesos自带的Hadoop来进行安装。下面的安装过程会用到master结点上解压并build好的mesos目录，具体过程请参见mesos安装总结。在下面总结过程中使用<mesos>来指代解压并build好的mesos目录，用<prefix>代指mesos的安装目录。具体安装Hadoop的过程如下所示：（1） 在master结点上，进入文件夹<me 阅读全文
posted @ 2012-12-26 22:37 Jason Koo 阅读(2537) 评论(0) 推荐(0) 编辑
摘要：
近期的一项任务是对比Hadoop和Spark两种分布式计算框架的迭代性能，为了更加充分合理地管理集群中的资源，用到了mesos这种资源管理平台。mesos最初是UC Berkeley AMP实验室的一个研究项目，后来开源，并加入Apache，成为一个孵化器项目。 从其主页可以了解到mesos是一种集群管理器，它为不同的分布式应用或框架提供高效的资源隔离与共享服务。在mesos上面可以运行Hadoop, MPI, Hypertable, Spark和其他应用。 mesos的用途有四点：1. 在一个动态共享的结点池中运行Hadoop, MPI, Spark和其他框架 2. 在同一个集... 阅读全文
posted @ 2012-12-26 20:47 Jason Koo 阅读(6643) 评论(3) 推荐(0) 编辑 |
||