Jason Koo

      Stay hungry, Stay foolish!

导航

搭建Hadoop和Spark集群的总结

Posted on 2013-05-19 21:39  Jason Koo  阅读(826)  评论(0编辑  收藏  举报

1. 备份master和所有slave上的文档、程序和软件

master上的目录结构:conf/dataset/hadoop/mesos/package/spark/桌面/.result/.script

slave上的目录结构:conf/hadoop/mesos/package/spark/桌面/.result/.script

master上/etc/hosts文件中的内容:

127.0.0.1       localhost
#127.0.1.1      master

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
#ip-host映射关系
192.168.2.99    master
192.168.2.100   slave0
192.168.2.101   slave1
192.168.2.102   slave2
192.168.2.103   slave3
192.168.2.104   slave4
192.168.2.105   slave5
192.168.2.106   slave6
192.168.2.107   slave7

各个slave上/etc/hosts文件中的内容:

127.0.0.1       localhost
#127.0.1.1      slave0

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
#ip-host映射关系
192.168.2.99    master
192.168.2.100   slave0
192.168.2.101   slave1
192.168.2.102   slave2
192.168.2.103   slave3
192.168.2.104   slave4
192.168.2.105   slave5
192.168.2.106   slave6
192.168.2.107   slave7

 

master上.bashrc文件最后几行:

export JAVA_HOME=/home/dummy/.java/jdk1.6.0_45
export PATH=$JAVA_HOME/bin:$PATH
export SCALA_HOME=/home/dummy/.scala/scala-2.9.2
export PATH=$PATH:$SCALA_HOME/bin

 

各个slave上.bashrc文件最后几行:

export JAVA_HOME=/home/dummy/.java/jdk1.6.0_45
export PATH=$JAVA_HOME/bin:$PATH
export SCALA_HOME=/home/dummy/.scala/scala-2.9.2
export PATH=$PATH:$SCALA_HOME/bin

 

2. 在每台机器上安装64位Ubuntu系统。

    1) 分区设计(硬盘总容量为500GB)

分区名称 分区大小 主分区逻辑分区
/ 307200 MB 主分区
/boot 400 MB 逻辑分区
swap 4096 MB 逻辑分区
/home 剩下 逻辑分区

    2) 设置主机名(master/slavex)、用户名(dummy)和密码(dummy)

    3)    给机器贴标签(master/sx)

    4)    设置IP地址:192.168.2.99/24 ~ 192.168.2.107/24    网关:192.168.2.254  DNS: 202.112.128.51

    5)    设置更新管理器:

           在设置-》其他软件下,去除独立软件源

           在设置-》Ubuntu软件下,更新资源软件列表为:mirror.bjtu.edu.cn/ubuntu

    6) 安装更新

    7) 更新语言支持,在搜索框中输入:language或者语言支持。

    8) 重启系统,核对主机名是否为slavex。

3. 删除主目录中的中文文件夹

除桌面之外全部删除

4. 安装软件和库

   1) ssh server       

sudo apt-get install openssh-server

   2) vim

sudo apt-get install vim

 

  3) expect

sudo apt-get install expect

 

 4) g++,python-dev,libcppunit-dev,libcppunit-doc

sudo apt-get install g++ python-dev  libcppunit-dev libcppunit-doc

 

5) ant

sudo apt-get install ant

 

6)  sbt

wget http://apt.typesafe.com/repo-deb-build-0002.deb
sudo dpkg -i repo-deb-build-0002.deb
sudo apt-get update
sudo apt-get install sbt

 

5. 配置SSH

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> authorized_keys
#使用ssh localhost验证是否配置正确
ssh localhost
#将master结点上的id_rsa.pub拷贝到各个slave结点的authorized_keys中
ssh-copy-id slave-host-name/slave-ip
#拷贝后验证可以从master无密码登录各个slave
#修改各个slave结点的/etc/ssh/sshd_config,找到文件中的PasswordAuthentication项,将其值修改为no,保存文件并退出。

6. 安装JDK

7. 安装Scala 2.9.2

8. 安装mesos

9. 安装Hadoop

10. 安装Spark 

11. 在Hadoop HDFS上创建目录导入数据