Hadoop1 集群安装实验

集群机器准备
机器名 机器IP 用途
hadoop 192.168.147.100 namenode、secondaryNamenode、JobTracter
hadoop1 192.168.147.101 datanode、tacktracter
hadoop2 192.168.147.102 datanode、tacktracter
1：配置静态IP地址
重启网卡命令：service network restart
验证：ifconfig
2：修改主机名称
    2.1、修改当前会话中的主机名命令：hostname hadoop
    2.2、修改配置文件中的主机名：vi /etc/sysconfig/network
验证：重启机器后查看主机名
3：hostname与IP绑定
命令：vi /etc/hosts  增加一行内容：192.168.147.100 hadoop
验证：ping hadoop
4：关闭防火墙
命令：service iptables stop
验证：service iptables status
5：关闭防火墙的自动运行
命令：chkconfig iptables off
验证：chkconfig --list | grep iptables
6：SSH配置
具体步骤见SSH无密码验证登录的实现
7：安装JDK
    7.1、执行命令 chmod u+x jdk-6u24-linux-i586.bin，赋予执行权限
    7.2、执行命令 ./jdk-6u24-linux-i586.bin 解压缩
    7.3、执行命令 mv jdk1.6.0_24 jdk 重新命名
    7.4、执行命令 vi /etc/profile 增加两行内容
            export JAVA_HOME=/usr/local/jdk
            export PATH=.:$JAVA_HOME/bin:$PATH
    7.5、执行命令 source /etc/profile 使配置立即生效
验证：执行命令 java -version
8：在namenode上安装hadoop（在hadoop用户下）
    8.1、执行命令 tar -zxvf hadoop-1.1.2.tar.gz  解压
    8.2、执行命令 mv hadoop-1.1.2 hadoop  重命名
    8.3、执行命令 sudo vi /etc/profile  配置环境变量
            export HADOOP_HOME=/home/hadoop/app/hadoop
            export PATH=.:$HADOOP_HOME:$JAVA_HOME/bin:$PATH
            执行命令 source /etc/profile 使配置立即生效
    8.4、修改6个配置文件：
            1、修改$HADOOP_HOME/conf/hadoop-env.sh   增加JAVA_HOME=/usr/local/jdk
            2、修改$HADOOP_HOME/conf/core-site.xml   增加内容：
 1 <configuration>
 2     <property>
 3         <name>fs.default.name</name>
 4         <value>hdfs://hadoop:9000</value>
 5         <description>change your own hostname</description>
 6     </property>
 7     <property>
 8         <name>fs.checkpoint.dir</name>
 9         <value>/home/hadoop/data/hadoop/hdfs/namesecondary</value>
10     </property>
11     <property>
12         <name>hadoop.tmp.dir</name>
13         <value>/home/hadoop/data/hadoop/tmp</value>
14     </property>
15 </configuration>
View Code

            3、修改$HADOOP_HOME/conf/hdfs-site.xml  增加内容：

 1 <configuration>
 2     <property>
 3         <name>dfs.replication</name>
 4         <value>1</value>
 5     </property>
 6     <property>
 7         <name>dfs.permissions</name>
 8         <value>false</value>
 9     </property>
10     <property>
11         <name>dfs.name.dir</name>
12         <value>/home/hadoop/data/hadoop/hdfs/name</value>
13     </property>
14     <property>
15         <name>dfs.data.dir</name>
16         <value>/home/hadoop/data/hadoop/hdfs/data</value>
17     </property>
18     <property>
19         <name>dfs.http.address</name>
20         <value>hadoop:50070</value>
21     </property>
22   <property>
23         <name>dfs.secondary.http.address</name>
24         <value>hadoop:50090</value>
25   </property>
26 </configuration>
View Code

            4、修改$HADOOP_HOME/conf/mapred-site.xml  增加内容：

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop:9001</value>
        <description>change your own hostname</description>
    </property>
</configuration>
View Code

            5、修改$HADOOP_HOME/conf/masters

                    hadoop
            6、修改$HADOOP_HOME/conf/slaves
                    hadoop1
                    hadoop2
9：复制hadoop到各datanode
     把hadoop的hadoop目录、jdk目录、/etc/hosts、/etc/profile复制到hadoop1，hadoop2节点
     执行命令： 
cd $HADOOP_HOME/..
scp -r hadoop hadoop1:/home/hadoop/app
scp -r hadoop hadoop2:/home/hadoop/app
10：namenode上hadoop 格式化文件系统
    10.1、执行命令：hadoop namenode -format  格式化
    10.2、执行命令：start-all.sh  启动
    10.3、执行命令：namenode上jps 验证3个java进程
            27036 NameNode
            27283 SecondaryNameNode
            27360 JobTracker
            datanode上jps验证2个java进程
            4507 DataNode
            4594 TaskTracker
 
11、集群监控
    11.1、浏览器查看
    11.2、远程查看修改远程客户机hosts文件
            C:\Windows\System32\drivers\etc\hosts 增加内容
            192.168.147.100    hadoop
    11.3、执行命令终端查看集群状态：
            hadoop dfsadmin -report
注意事项：
1、在对namenode格式化之前，要确保dfs.name.dir参数指定的目录不存在，否则会报错！
      Hadoop这样做的目的是防止错误地将已存在的集群格式化了
posted @ 2015-02-28 14:57  /HOME/北北  阅读(452)  评论(0)  编辑  收藏  举报