hadoop安装过程

hadoop基本环境的配置,我是使用虚拟机,然后创建一个集群,模拟真正环境的集群,实现它的存储,计算和数据分析,一般使用电脑安装虚拟机的时候我们装他们的极简形式,因为图形界面很占内存,并且电脑有时候回会很卡。

1.准备Linux环境

(1)将虚拟机的网络模式选为NAT,其他的网络模式,我在以后在写。

(2)修改主机名。

vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=hadoop01

(2)修改ip

·方式一:通过setup命令,这个比较简单,配置的时候直接将IP设置就可以了。

·方式二:使用配置文件修改,IP等参数根据自己的电脑设置。

vi /etc/sysconfig/network-scripts/ifcfg-eth0

IPADDR=192.168.220.10
NATMASK=255.255.255.0   <!--可以查看网段,使用NETMASK与IP与运算,下来的结果就是网段  -->
GATEWAY=192.168.110.0  <!--一般写成路由二地址,在虚拟机中,在虚拟机的网络中可以查看-->

方式三:通过图像界面修改

3.设置主机名并修改hosts文件,完成与IP的映射

vi /etc/hosts


192.168.220.10   hadoop01

4.关闭防火墙

#查看状态
service iptables status
#关闭防火墙
service iptables stop 

5.创建新的用户(补充)

useradd hadoop01
passwd hadoop01



#设置权限,使用root权限
vi /etc/sudoers
找到root哪一行,复制,将root写成hadoop01就可以了。

6.重启Linux reboot

hadoop正式安装

1.安装JDK

·使用ALT+P开启sftp窗口,然后put  本地目录      默认是在当前操作的目录

·解压    tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop01

2;将java设置到环境变量

vim /etc/profile
#在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin
    
#刷新配置
source /etc/profile

3.安装hadoop

 ·上传到Linux中,解压,设置成环境变量

 ·配置hadoop

(1)配置hadoop-env.sh

vi hadoop-env.sh


# The java implementation to use.
export JAVA_HOME=$/home/jdk

# The jsvc implementation to use. Jsvc is required to run secure datanodes

(2)core-sitex.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.220.10:9000</value>
        </property>
</configuration>


<!--
   分布式的文件系统,那么他在任意一台机器上的运行的目录
   我们将他们放在自定义的一个目录
-->

<configuration>
        <property>
                <name>hadop.tmp.dir</name>
                <value>/home/hadoop/kwtemp</value>
        </property>
</configuration>

(3)hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>
~

(4)mapred-site.xml

<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
 </property>

(5)yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>192.168.220.10</value>
        </property>
<!-- Site specific YARN configuration properties -->
<!-- reducer获取数据的方式 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property> </configuration>


(6)将hadoop的bin和sbin配置到环境

(7)格式化namenode

(8)启动start-all.sh

因为是测试。将所有的都进行开启,当输入jps的时候出现如下组件,就说明成功了。【伪分布式,只是有一台机器,将所有的节点和namenode都启动在这一台机器中】

localhost: starting nodemanager, logging to /home/hadoop-2.6.4/logs/yarn-root-nodemanager-hadoop01.out
[root@hadoop01 sbin]# jps
3407 NodeManager
3134 ResourceManager
2745 NameNode
3444 Jps
2831 DataNode
2994 SecondaryNameNode

 

如果有多台机器,我们就收工的在每一个机器上面启动相应的进程namenode或者dataNode.假如机器很多的时候,我们就需要下一个配置文件了。

[root@hadoop01 hadoop]# vi slaves

将其他节点假如到配置中。

 

 

注意:一定要配置hosts,修改主机名。

 

posted @ 2018-03-19 12:12  kwdeep  阅读(184)  评论(0编辑  收藏  举报