虚拟机CentOs的安装及大数据的环境搭建

                              大数据问题汇总
     1.安装问题
        1.安装步骤,详见文档《centos虚拟机安装指南》
        2.vi编辑器使用问题,详见文档《linux常用命令.pdf》
        3.网络中继更改问题
        命令:   vi /etc/sysconfig/network-scripts/ifcfg-eth0
·········需要修改的代码
·········DEVICE=eth0
            HWADDR=00:0C:29:11:02:E8
            TYPE=Ethernet
            UUID=c1038317-21f4-4251-a68f-0962fd644cab
            NBOOT=yes
            NM_CONTROLLED=yes
            BOOTPROTO=static
            IPADDR=192.168.17.238
            GATEWAY=192.168.17.1
            NDS1=114.114.114.114
            IPV6INIT=NO
      安装步骤到此结束
 2.hadoop 环境配置问题
           1.修改主机名称
               命令:vi /etc/hosts
           2.配置java ,hadoop环境变量
              命令:vi/etc/prifile
#java
JAVA_HOME=/jdk1.7.0_79
JAVA_BIN=/jdk1.7.0_79/bin
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
#hadoop
export HADOOP_HOME=/home/hadoop-2.5.2
export PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=/home/hadoop-2.5.2/lib/native/
         生效     命令:. /etc/prifile
        3关闭放火枪
           service iptables stop
           chkconfig iptables off
           3.1修改配置文件
           vi  /etc/selinux/config
                   修改为:
                     SELINUX=disabled

       4.ssh免密设置
         下载 ssh服务
            命令:yum -y install openssh-clients
         生成ssh密匙:
            ssh-keygen -t rsa
        进入根目录:命令: cd~;
         cd .ssh
          ls 查看文件
         将文件  id_rsa.hub 考入: 命令:cat id_rsa.pub  >>authorized_keys
         将 datanode节点上的 id_rsa.hub 考入 命令
         ssh datanode1 cat .ssh/id_rsa.pub >>authorized_keys
        将文件发送到datanode节点:   
                    [root@namenode ~]# scp authorized_keys datanode1:~/.ssh
       测试 ssh datanode1 免密登陆到datanode1主机
       至此 前期配置完成
         5 hadoop配置
         修改hadoop配置文件
         yarn-site.xml
         mapred-site.xml
         slaves hdfs-site.xml
         yarn-env.sh
         hadoop-env.sh
       详见《hadoop配置手册》
      配置环境测试:
               cd /home/hadoop-2.5.2/sbin
             输入 sh start-all.sh
            等待启动
           启动完毕后
       测试:
              输入 jps
                namenode 节点 显示:
                      8722 ResourceManager
                       11446 Jps
                        9371 DataNode
                       8812 NodeManager
                        9283 NameNode
              datanode1节点 输入 jps
                        显示:
                    5694 Jps
                    2867 NodeManager
                    2782 DataNode
             则基本配置成功
            测试计算 pi
       cd /home/hadoop-2.5.2/share/hadoop/mapreduce   
          命令  [root@namenode mapreduce]# hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 2 5   
          回车





posted @ 2017-07-13 08:33  菜鸟的进击  阅读(954)  评论(0编辑  收藏  举报