Fork me on GitHub
安装和配置hadoop集群步骤

 

hadoop集群的安装步骤和配置

hadoop是由java语言编写的，首先我们肯定要在电脑中安装jdk，配置好jdk的环境，接下来就是安装hadoop集群的步骤了，在安装之前需要创建hadoop用户组和用户，另外我此时使用的是一主（master）三从（slave1、slave2、slave3）。

 

1、 创建Hadoop组和hadoop用户

 

 

 

[plain] view plain copy
 
  1. [root@master ~]# groupadd hadoop  
  2. [root@master ~]# useradd -g hadoop hadoop  

 

 

 

2、 上传、解压hadoop压缩包和重名解压后的目录

 

切换到hadoop用户：

 

 

 

[html] view plain copy
 
  1. [root@master ~]# su – hadoop  


 

 

上传hadoop安装包：

 

 

 

解压hadoop安装包和重命名解压目录：

 

 

 

[plain] view plain copy
 
  1. [hadoop@master ~]$ tar -zxvf hadoop-1.0.4.tar.gz  
  2. [hadoop@master ~]$ mv hadoop-1.0.4 hadoop  


 

 

3、 配置hadoop的的配置文件

 

进入hadoop的conf目录：

 

 

 

[plain] view plain copy
 
  1. [hadoop@master ~]$ cd hadoop  
  2. [hadoop@master hadoop]$ cd conf  
  3. [hadoop@master conf]$   
  4. [hadoop@master conf]$ ll  
  5. 总用量 76  
  6. -rw-rw-r--. 1 hadoop hadoop 7457 10月  3 2012 capacity-scheduler.xml  
  7. -rw-rw-r--. 1 hadoop hadoop  535 10月  3 2012 configuration.xsl  
  8. -rw-rw-r--. 1 hadoop hadoop  178 10月  3 2012 core-site.xml  
  9. -rw-rw-r--. 1 hadoop hadoop  327 10月  3 2012 fair-scheduler.xml  
  10. -rw-rw-r--. 1 hadoop hadoop 2237 10月  3 2012 hadoop-env.sh  
  11. -rw-rw-r--. 1 hadoop hadoop 1488 10月  3 2012 hadoop-metrics2.properties  
  12. -rw-rw-r--. 1 hadoop hadoop 4644 10月  3 2012 hadoop-policy.xml  
  13. -rw-rw-r--. 1 hadoop hadoop  178 10月  3 2012 hdfs-site.xml  
  14. -rw-rw-r--. 1 hadoop hadoop 4441 10月  3 2012 log4j.properties  
  15. -rw-rw-r--. 1 hadoop hadoop 2033 10月  3 2012 mapred-queue-acls.xml  
  16. -rw-rw-r--. 1 hadoop hadoop  178 10月  3 2012 mapred-site.xml  
  17. -rw-rw-r--. 1 hadoop hadoop   10 10月  3 2012 masters  
  18. -rw-rw-r--. 1 hadoop hadoop   10 10月  3 2012 slaves  
  19. -rw-rw-r--. 1 hadoop hadoop 1243 10月  3 2012 ssl-client.xml.example  
  20. -rw-rw-r--. 1 hadoop hadoop 1195 10月  3 2012 ssl-server.xml.example  
  21. -rw-rw-r--. 1 hadoop hadoop  382 10月  3 2012 taskcontroller.cfg  


 

 

这里的配置文件有core-site.xml,hadoop-env.sh,hdfs-site.xml,mapred-site.xml,masters,slaves都需要修改，下面是这几个配置文件的内容：

 

core-site.xml配置文件的内容：

 

 

 

[html] view plain copy
 
  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.    
  4. <!-- Put site-specific property overrides in this file. -->  
  5.    
  6. <configuration>  
  7. <property>  
  8.      <name>fs.default.name</name>#++++hdfs的默认路径  
  9.      <value>hdfs://master:9000</value>  
  10. </property>  
  11. </configuration>  


 

 

hadoop-env.sh配置文件最后面添加的内容：

 

 

 

[plain] view plain copy
 
  1. export JAVA_HOME=/usr/jdk #++++jdk的环境变量++++#  


 

 

hdfs-site.xml配置文件的内容：

 

 

 

[html] view plain copy
 
  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.    
  4. <!-- Put site-specific property overrides in this file. -->  
  5.    
  6. <configuration>  
  7. <property>    
  8. <name>dfs.replication</name>#++++hdfs的备份数  
  9. <value>3</value>  
  10. </property>              
  11.         <property>    
  12.             <name>dfs.name.dir</name>  #++++namenode的文件存储路径，包括edites、fsimage、fstime、VERSION  
  13.                 <value>/home/hadoop/hadoop/namenode/</value>    
  14.         </property>   
  15.         <property>    
  16.             <name>dfs.data.dir</name>  #++++datanode的存储路径，包含数据和数据的原信息。  
  17.                 <value>/home/hadoop/hadoop/data/</value>    
  18.         </property>                 
  19.         <property>    
  20.             <name>hadoop.tmp.dir</name>  #++++mapreduce计算的中间结果的临时存储文件夹  
  21.                 <value>/home/hadoop/hadoop/tmp/</value>    
  22.         </property>  
  23.         <property>  
  24. <name>dfs.permissions</name>#++++认证策略  
  25. <value>false</value>  
  26. </property>  
  27. </configuration>  


 

 

mapred-site.xml配置文件的内容：

 

 

 

[html] view plain copy
 
  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.    
  4. <!-- Put site-specific property overrides in this file. -->  
  5.    
  6. <configuration>  
  7. <property>    
  8.             <name>mapred.job.tracker</name>  #++++jobtracker的ip和端口  
  9.                 <value>master:9001</value>    
  10.         </property>  
  11.         <property>    
  12.             <name>mapred.tasktracker.map.tasks.maximum</name>  #++++maptask的最大数  
  13.             <value>2</value>    
  14.         </property>                    
  15.         <property>    
  16.             <name>mapred.tasktracker.reduce.tasks.maximum</name>  #++++reducetask的最大数  
  17.                 <value>2</value>    
  18.         </property>    
  19. </configuration>  


 

 

masters配置文件的内容：

 

 

 

[plain] view plain copy
 
  1. master  
  2. #SecondaryNameNode的位置，可以配置多个  


 

 

slaves配置文件的内容：

 

 

 

[plain] view plain copy
 
  1. slave1#++++slave的ip或者域名  
  2. slave2  
  3. slave3  


 

 

说明：这些配置文件都是事先配置好的，只要上传到conf目录下，替换之前的文件即可，采用这种方式是因为在Linux命令行下直接打开文件在里面输入内容更容易错并且不方便。这里还有一点需要注意，上面配置文件中存在的汉字是用于注释的，实际上传的文件是没有注释的，因为不支持汉字。

 

上传配置文件过程：

 

 

 

4、 到这里hadoop就安装结束了，接下来就是将安装完成的hadoop发送到其他的虚拟机中。

 

 

 

[plain] view plain copy
 
  1. [hadoop@master conf]$ scp -r /home/hadoop/hadoop hadoop@slave1:/home/hadoop  
  2. [hadoop@master conf]$ scp -r /home/hadoop/hadoop hadoop@slave2:/home/hadoop  
  3. [hadoop@master conf]$ scp -r /home/hadoop/hadoop hadoop@slave3:/home/hadoop  


 

 

向另外三台机器发送hadoop，记住这里发送到另外一台机器的hadoop用户下，而非root用户下。发送完成，就意味着三台机器的hadoop都已经安装完成。

 

5、 安装ssh

 

为了在master机器中启动集群中所有的hadoop，这里安装ssh是提供启动方便。

 

将slave1、slave2、slave3三台机器都切换到hadoop用户；

 

在slave1、slave2、slave3三台机器中执行ssh localhost，是为了生成.ssh目录，这个目录默认是隐藏的需要使用ll –a命令查看。

 

 

 

[plain] view plain copy
 
  1. [hadoop@slave1 ~]$ ll -a  
  2. 总用量 32  
  3. drwx------.  5 hadoop hadoop 4096 11月 20 23:09 .  
  4. drwxr-xr-x.  3 root   root   4096 11月 20 22:20 ..  
  5. -rw-r--r--.  1 hadoop hadoop   18 7月  18 2013 .bash_logout  
  6. -rw-r--r--.  1 hadoop hadoop  176 7月  18 2013 .bash_profile  
  7. -rw-r--r--.  1 hadoop hadoop  124 7月  18 2013 .bashrc  
  8. drwxr-xr-x.  2 hadoop hadoop 4096 11月 12 2010 .gnome2  
  9. drwxr-xr-x. 14 hadoop hadoop 4096 11月 20 23:03 hadoop  
  10. drwx------.  2 hadoop hadoop 4096 11月 20 23:09 .ssh  


 

 

在master机器中生成公钥和私钥：

 

进入.ssh目录，移除里面的known_hosts文件

 

 

 

[plain] view plain copy
 
  1. [hadoop@master ~]$ cd .ssh  
  2. [hadoop@master .ssh]$ ll  
  3. 总用量 4  
  4. -rw-r--r--. 1 hadoop hadoop 1209 11月 20 23:05 known_hosts  
  5. [hadoop@master .ssh]$   
  6. [hadoop@master .ssh]$ rm -rf known_hosts  


 

 

生成公钥和私钥：

 

 

 

[plain] view plain copy
 
  1. [hadoop@master .ssh]$ ssh-keygen -t rsa  


 

 

出现需要输入内容的对话，一律回车，只到生成结束

 

把公钥放到认证列表中：

 

 

 

[plain] view plain copy
 
  1. [hadoop@master .ssh]$ cat id_rsa.pub >> authorized_keys  


 

 

此时.ssh目录下回多出一个文件authorized_keys

 

给authorized_keys文件授权：

 

 

 

[plain] view plain copy
 
  1. [hadoop@master .ssh]$ chmod 600 authorized_keys  


 

 

将authorized_keys文件发送到slave1、slave2、slave3的hadoop用户下的.ssh目录下：

 

 

 

[plain] view plain copy
 
  1. [hadoop@master .ssh]$ scp ~/.ssh/authorized_keys hadoop@slave1:~/.ssh/  
  2. [hadoop@master .ssh]$ scp ~/.ssh/authorized_keys hadoop@slave2:~/.ssh/  
  3. [hadoop@master .ssh]$ scp ~/.ssh/authorized_keys hadoop@slave3:~/.ssh/  


 

 

至此ssh就安装成功了。

 

6、 启动hadoop，这里要注意，要使用hadoop用户，不能用root用户。

 

格式化集群：

 

 

 

[plain] view plain copy
 
  1. [hadoop@master .ssh]$ hadoop namenode –format  


 

 

启动集群：

 

 

 

[plain] view plain copy
 
  1. [hadoop@master ~]$ start-all.sh  
  2. Warning: $HADOOP_HOME is deprecated.  
  3.    
  4. starting namenode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-namenode-master.out  
  5. slave3: starting datanode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-datanode-slave3.out  
  6. slave2: starting datanode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-datanode-slave2.out  
  7. slave1: starting datanode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-datanode-slave1.out  
  8. The authenticity of host 'master (192.168.56.200)' can't be established.  
  9. RSA key fingerprint is 63:e7:e2:e1:ae:bb:59:f8:ec:e8:23:e0:22:3e:ac:16.  
  10. Are you sure you want to continue connecting (yes/no)? yes  
  11. master: Warning: Permanently added 'master,192.168.56.200' (RSA) to the list of known hosts.  
  12. master: starting secondarynamenode, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-secondarynamenode-master.out  
  13. starting jobtracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-jobtracker-master.out  
  14. slave2: starting tasktracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-slave2.out  
  15. slave1: starting tasktracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-slave1.out  
  16. slave3: starting tasktracker, logging to /home/hadoop/hadoop/libexec/../logs/hadoop-hadoop-tasktracker-slave3.out  


 

 

这样集群就启动成功了。

 

7、 jps命令测试是否安装成功

 

master机器：

 

 

 

[plain] view plain copy
 
  1. [hadoop@master ~]$ jps  
  2. 2372 JobTracker  
  3. 2298 SecondaryNameNode  
  4. 2128 NameNode  
  5. 2471 Jps  


 

 

slave1机器：

 

 

 

[plain] view plain copy
 
  1. [hadoop@slave1 ~]$ jps  
  2. 2185 Jps  
  3. 2019 DataNode  
  4. 2106 TaskTracker  


 

 

slave2机器：

 

 

 

[plain] view plain copy
 
  1. [hadoop@slave2 ~]$ jps  
  2. 2101 TaskTracker  
  3. 2183 Jps  
  4. 2013 DataNode  


 

 

slave3机器：

 

 

 

[plain] view plain copy
 
  1. [hadoop@slave3 ~]$ jps  
  2. 2115 TaskTracker  
  3. 2211 Jps  
  4. 2041 DataNode  


 

 

至此hadoop集群的安装和启动就完成了，启动集群只需要在master机器上执行start-all.sh就可以。停止集群使用stop-all.sh命令。

 

posted on 2017-07-30 11:36  HackerVirus  阅读(470)  评论(0)  编辑  收藏  举报
Powered by:
博客园
Copyright © 2024 HackerVirus
Powered by .NET 8.0 on Kubernetes