Hadoop2.7.4安装配置

1. Linux环境

2. Java环境

　　下载：　　下载网址：http://www.oracle.com/technetwork/java/javase/downloads/index.html

　　安装：　　/usr目录下新建java目录　　mkdir

　　　　　　　将下载好的jdk复制到此目录下解压　　cp  tar -zxvf

　　配置：　　添加环境变量，/etc/prifile下添加以下内容

export JAVA_HOME=/usr/java/jdk-9.0.1
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:%{JAVA_HOME}/lib:%{JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

　　　　　　　让配置文件生效　　

source /etc/profile

　　验证：　　java -version

3. Hadoop安装（2.7.4）

　　下载：　　下载网址：http://hadoop.apache.org/releases.html

　　安装：　　将下载好的文件复制到想放的地方解压，这里选择/opt/hadoop目录下

　　配置：　　./hadoop-2.7.4/etc/hadoop目录下

　　　　　　　　hadoop-env.sh　　指定JAVA_HOME :

export JAVA_HOME=/usr/java/jdk-9.0.1

 　　　　　　　　core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop/tmp</value>
　　　　　　　　　 <description>namenode上本地的hadoop临时文件夹</description>
        </property>
</configuration>

　　　　　　　　　hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>/opt/hadoop/dfs/name</value>
　　　　　　　　<description>namenode上存储hdfs名字空间元数据</description>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>/opt/hadoop/hdfs/data</value>
　　　　　　　　<description>datanode上数据块的物理存储位置</description>
        </property>
</configuration>

 　　　　　　　　mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

 　　　　　　　　yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

 　　　　添加HADOOP_HOME环境变量，/etc/prifile下添加以下内容

export HADOOP_HOME=/opt/hadoop-2.9.0
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

　　启动

　　修改权限：　　

$ chown -R jing /opt/hadoop

 　　格式化namenode：　

$ bin/hdfs namenode –format

　　启动NameNode 和 DataNode 守护进程：

$ sbin/start-dfs.sh

 　　启动ResourceManager 和 NodeManager 守护进程:

$ sbin/start-yarn.sh

 　　验证：

$jps
24241 NodeManager
22482 NameNode
24355 Jps
22843 SecondaryNameNode
23932 ResourceManager
22639 DataNode

 4. Hbase(1.2.6)安装

　　下载：　　http://mirrors.hust.edu.cn/apache/hbase/

　　安装：　　将下载好的文件复制到想放的地方解压，这里选择/opt/hadoop目录下　

　　配置：　　./hbase1.2.6目录下

　　　　　　　　hbase-env.sh

export JAVA_HOME=/usr/java/jdk-9.0.1

export HBASE_MANAGES_ZK=true    //使用hbase自带的zookeeper

 

　　　　　　　　hbase-site.xml

<configuration>
        <property>
                <name>hbase.tmp.dir</name>
                <value>/opt/hadoop/hbaseData</value>
        </property>//hbase临时文件目录
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://localhost:9000/hbase</value>
        </property>//hbase在HDFS上的主目录，Master是namenode节点。
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>//true表示分布式
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>localhost</value>
        </property>//指定HRegionServer服务节点。
</configuration>

 

　　　　　　添加HBASE_HOME环境变量，/etc/prifile下添加以下内容

export HBASE_HOME=/opt/hadoop/hbase-1.2.6
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$HBASE_HOME/bin:$PATH

 

　　　　启动：

　　　　　　启动Hbase实例

#start-hbase.sh

 

 

 

　　　　　　查看是否启动

$ jps
26323 HQuorumPeer
19827 HRegionServer
21014 ResourceManager
26390 HMaster
26552 Jps
20441 NameNode
20601 DataNode
20813 SecondaryNameNode

 

 

 

　参考：http://www.powerxing.com/install-hadoop/

　　　http://blog.csdn.net/looc_246437/article/details/70849067?utm_source=itdadao&utm_medium=referral