自动手动安装CDH5

　　回想去年噩梦般的经历，刚出大学门，转行做IT，跟着潮流学了大数据，可惜碰到了个骗子+流氓+误人子弟的人叫杨勇，整天吹嘘，课程一窍不通，3个半月白白浪费掉。硬着头皮自学hadoop集群，写了不少文档，长进了自己的独立学习能力。进公司后，很幸运的转到了JavaWeb开发，从码畜慢慢往上爬，未来真正的去做大数据方面的研究。

　　最近想new一个自己，开始写写博客，记录点滴，希望能return给自己一个不会后悔的未来。今天第一天，我放上了当时自学劲头特足的CM和手动安装Hadoop集群。

通过CM安装CDH5

1、CM_cleanup_cluster.sh 清理集群（不是hadoop中的一个，只是为了实验用。）

2、配IP

2.1改主机名：

　　vi /etc/sysconfig/network

　　vi /etc/hosts

　2.2 配hots:

　　elephant 192.168.20.3 elephant

　　monkey 192.168.20.4 monkey

　　tiger 192.168.20.5 tiger

　　lion 192.168.20.6 lion

　　horse 192.168.20.7 horse

3、安装hadoop：

3.1 Install_CDH5.sh

3.2 修改/etc/cloudera-scm-agent/config.ini如下：

　　server_host=localhost

　　server_host=lion

3.3 如果其他机子没有安装hadoop，那么需要运行如下命令：

　　copy_CM_agent_config.sh

4、仅lion做：

　　安装数据库：sudo yum --accesseyes install cloudera-manager-server-db-2

　　启动数据库：sudo service cloudera-scm-server-db-2 start

　　启动数据库服务：sudo service cloudera-scm-server start

　　查看数据库状态：sudo service cloudera-scm-server-db-2 status

　　查看数据库服务状态：sudo service cloudera-scm-server-db-2 status

5、启动客户端

　　sudo service cloudera-scm-agent start

　　查看状态：

　　sudo service cloudera-scm-agent status

　　查看日志：

　　sudo tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

6、打开浏览器进入：http://lion:7180 (用户名:admin 密码：admin)

手动安装hadoop cluster

此次安装一共分为5台机子，分别取名为elephant、horse、tiger、monkey、lion。严格按照下图所要求的进程分布安装（lion只需要安装DN和NM）

一、检查5台机子是否纯净

1、先ping通其他机子

2、安装前首先检查jps没有任何进程，如有进程则停止服务：

$ sudo service hadoop-hdfs-namenode stop

$ sudo service hadoop-hdfs-secondarynamenode stop

$ sudo service hadoop-hdfs-datanode stop

$ sudo service hadoop-yarn-resourcemanager stop

$ sudo service hadoop-yarn-nodemanager stop

$ sudo service hadoop-mapreduce-historyserver stop

3、检查日志，如果有删除日志

sudo ls /var/log/hadoop-*/*

sudo rm -rf /var/log/hadoop-*/*

4、首先查看有没有yum包

rpm -qa |grep yum

如果有，删除：

$ sudo yum remove --assumeyes hadoop-hdfs-secondarynamenode

$ sudo yum remove --assumeyes hadoop-yarn-resourcemanager

$ sudo yum remove --assumeyes hadoop-mapreduce-historyserver

二、在elephant上安装namenode

1、在elephant上安装namenode：

sudo yum install --assumeyes hadoop-hdfs-namenode

sudo mkdir -p /hadoop-cluster/fsimage/nn1

sudo mkdir -p /hadoop-cluster/fsimage/nn2

3、安装完namenode之后，先将/training_materials/admin/stubs/里的配置文件复制到/etc/hadoop/conf中。然后配置core-site.xml，hdfs-site.xml，mapreduce-site.xml,yarn-site.xml如下：

core-site.xml:

<name>fs.defaultFS</name>

<value>hdfs://elephant:8020</value>

</property>

</configuration>

hdfs-site.xml:

sudo mkdir -p /disk1/dfs/nn,sudo mkdir -p /disk2/dfs/nn

sudo mkdir -p /disk1/dfs/dn,sudo mkdir -p /disk2/dfs/dn

给disk1、disk2释放权限:

sudo chmod -R 1777 /disk1

sudo chmod -R 1777 /disk2

切换用户属组：

sudo chown -R hdfs:hadoop /disk1/dfs/

sudo chown -R hdfs:hadoop /disk2/dfs/

<name>dfs.namenode.name.dir</name>

</property>

<name>dfs.datanode.date.dir</name>

</property>

</configuration>

4、用hdfs用户格式化：sudo -u hdfs hdfs namenode -format

5、启动namenode

sudo service hadoop-hdfs-namenode start

sudo service hadoop-hdfs-namenode status

启动成功后，检查sudo jps,看启动进程中是否有NN。此时所有的分机都可以安装DN。

三、在horse上安装ResourceManager

1、在horse上安装resourcemanager：

sudo yum install --assumeyes hadoop-yarn-resourcemanager

2、安装完resourcemanager，将/training_materials/admin/stubs/里的配置文件复制到/etc/hadoop/conf中。然后配置core-site.xml，hdfs-site.xml，mapreduce-site.xml,yarn-site.xml如下：

core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://elephant:8020</value>

</property>

</configuration>

mapred-site.xml

vim /etc/hadoop/conf/mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

<value>monkey:10020</value>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>monkey:19888</value>

</property>

<name>yarn.app.mapreduce.am.staging-dir</name>

</property>

yarn-site.xml

配置之前，首先在“/”目录下创建如下目录：

sudo mkdir -p /disk1/nodemgr/local

sudo mkdir -p /disk2/nodemgr/local

sudo mkdir -p /var/log/hadoop-yarn/containers

sudo mkdir -p /var/log/hadoop-yarn/apps

给目录释放权限:

sudo chmod -R 1777 /disk1/nodemgr/local

sudo chmod -R 1777 /disk2/nodemgr/local

sudo chmod -R 1777 /var/log/hadoop-yarn/containers

sudo chmod -R 1777 /var/log/hadoop-yarn/apps

给目录切换用户属组：

sudo chown -R yarn:yarn /disk1/nodemgr/

sudo chown -R yarn:yarn /disk2/nodemgr/

sudo chown -R yarn:yarn /var/log/hadoop-yarn/containers

sudo chown -R yarn:yarn /var/log/hadoop-yarn/apps

<name>yarn.resourcemanager.hostname</name>

<value>horse</value>

</property>

<name>yarn.application.classpath</name>

<value>

$HADOOP_CONF_DIR,

$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,

$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,

$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,

$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*

</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.local-dirs</name>

<value>file:///disk1/nodemgr/local,file:///disk2/nodemgr/l ocal</value>

</property>

<name>yarn.nodemanager.log-dirs</name>

<value>/var/log/hadoop-yarn/containers</value>

</property>

<name>yarn.nodemanager.remote-app-log-dir</name>

<value>/var/log/hadoop-yarn/apps</value>

</property>

<name>yarn.log-aggregation-enable</name>

</property>

</configuration>

3、启动服务

sudo service hadoop-yarn-resourcemanager start

sudo service hadoop-yarn-resourcemanager status

启动成功后，检查sudo jps,看启动进程中是否有RM。此时所有的分机都可以安装NM。

四、在tiger上安装SecondaryNamenode

1、在elephant上安装SecondaryNamenode：

sudo yum install --assumeyes hadoop-hdfs-secondarynamenode

2、安装完secondarynamenode,将/training_materials/admin/stubs/里的配置文件复制到/etc/hadoop/conf中。然后配置core-site.xml，hdfs-site.xml，mapreduce-site.xml,yarn-site.xml如下：

core-site.xml:

<name>fs.defaultFS</name>

<value>hdfs://elephant:8020</value>

</properties>

</configuration>

hdfs-site.xml:

sudo mkdir -p /disk1/dfs/nn,sudo mkdir -p /disk2/dfs/nn

sudo mkdir -p /disk1/dfs/dn,sudo mkdir -p /disk2/dfs/dn

给disk1、disk2释放权限:

sudo chmod -R 1777 /disk1

sudo chmod -R 1777 /disk2

切换用户属组：

sudo chown -R hdfs:hadoop /disk1/dfs/

sudo chown -R hdfs:hadoop /disk2/dfs/

<name>dfs.namenode.name.dir</name>

</properties>

<name>dfs.datanode.date.dir</name>

</properties>

</configuration>

3、启动secondarynamenode

sudo service hadoop-hdfs-secondarynamenode start

sudo service hadoop-hdfs-secondarynamenode status

启动成功后，检查sudo jps,看启动进程中SecondaryNamennode是否启动。

五、在monkey上安装JobHistoryServer

启动JHS之前，需要先在HDFS上建立如下文件：

1、安装JobHistoryServer:

sudo yum install --assumeyes hadoop-mapreduce-historyserver

2、安装完historyserver,将/training_materials/admin/stubs/里的配置文件复制到/etc/hadoop/conf中。然后配置core-site.xml，hdfs-site.xml，mapreduce-site.xml,yarn-site.xml如下：

core-site.xml:

<name>fs.defaultFS</name>

<value>hdfs://elephant:8020</value>

</properties>

</configuration>

hdfs-site.xml:

sudo mkdir -p /disk1/dfs/nn,sudo mkdir -p /disk2/dfs/nn

sudo mkdir -p /disk1/dfs/dn,sudo mkdir -p /disk2/dfs/dn

给disk1、disk2释放权限:

sudo chmod -R 1777 /disk1

sudo chmod -R 1777 /disk2

切换用户属组：

sudo chown -R hdfs:hadoop /disk1/dfs/

sudo chown -R hdfs:hadoop /disk2/dfs/

<name>dfs.namenode.name.dir</name>

</properties>

<name>dfs.datanode.date.dir</name>

</properties>

</configuration>

3、启动historyserver

sudo service hadoop-mapreduce-historyserver start

sudo service hadoop-mapreduce-historyserver status

启动成功后，检查sudo jps,看启动进程中JobHistoryserver是否启动。

六、在集群各台机子上安装datenode，nodemanager

重要：在启动nodemanager之前，请务必先运行mapreduce!!!!!!!

1、安装datanode

需要注意的是，需要配置core-site.xml，hdfs-site.xml。在上述配置过程中，elephant、tiger、monkey都已经配置完成，所以需要horse、lion进行相同的配置，然后安装并启动：

sudo yum install --assumeyes hadoop-hdfs-datanode

sudo service hadoop-hdfs-datanode start

sudo service hadoop-hdfs-datanode status

2、安装nodemanager

需要注意的是，需要配置mapreduce-site.xml和yarn-site.xml，配置过程中只有horse进行了配置，所以elephant、tiger、monkey、lion都需要按照horse配置，然后进行安装和启动：

sudo yum install --assumeyes hadoop-yarn-nodemanager

sudo service hadoop-yarn-nodemanager start

sudo service hadoop-yarn-nodemanager status

3、运行mapreduce

sudo yum install --assumeyes hadoop-mapreduce

到此，hadoop cluster全部安装完毕，可以进行相关测试。

在配置集群的过程中，会出现一些错误，可以查看/var/log下的运行日志。

posted @ 2017-12-14 16:58 Danfoen 阅读(473) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

koberquan

自动手动安装CDH5

公告