Hive伪分布式部署

前言

之前在centos下搭建了伪分布式并且安装了MySQL，搭建了hadoop伪分布式集群以后，发现这是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些实际上我们一般不会直接使用，而是需要另外部署Hadoop的其他组件，来辅助使用。比如我们把数据存储到了hdfs，都是文件格式，用起来肯定不方便，用hive把数据从HDFS映射成表结构，直接用sql语句即可操作数据。另外针对分布式数据计算算法MapReduce，需要直接写MapReduce程序，比较复杂，此时使用Hive，就可以通过写SQL语句，来实现MapReduce的功能实现。下面讲解一下，如何在hadoop伪分布式上安装hive。

实验要求：

已搭建Hadoop伪分布式，并且安装好MySQL。

实验步骤：

1. 上传mysql-connector-java-5.1.26-bin.jar与hive到 /software目录下
2. 解压hive-1.1.0-cdh5.4.5.tar.gz到/opt目录下，重命名为hive

tar -xzvf hive-1.1.0-cdh5.4.5.tar.gz -C /opt/
mv hive-1.1.0-cdh5.4.5.tar.gz hive 

3. 配置环境变量

sudo vi /etc/profile 

将hive的bin目录，添加到环境变量PATH中，保存退出。

export HIVE_HOME=/opt/hive  
export PATH=$HIVE_HOME/bin:$PATH 

执行source命令，使Hive环境变量生效。

source /etc/profile 

4.由于hive 需要将元数据，存储到MySQL中。所以需要拷贝/opt/software目录下的 mysql-connector-java-5.1.26-bin.jar 到 hive 的 lib 目录下。

cp /opt/software/mysql-connector-java-5.1.26-bin.jar /opt/hive/lib/ 

5.下面配置Hive，切换到/opt/hive/conf目录下，创建hive的配置文件hive-site.xml。

cd /opt/hive/conf  
touch hive-site.xml 

使用 vi 打开 hive-site.xml 文件。

vi hive-site.xml 

将下列配置添加到 hive-site.xml 中。

<configuration>  
   <property>  
       <name>javax.jdo.option.ConnectionURL</name>  
       <value>jdbc:mysql://hadoop:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>  
    </property>  
    <property>  
       <name>javax.jdo.option.ConnectionDriverName</name>
       <value>com.mysql.jdbc.Driver</value>  
    </property>  
    <property>  
	   <name>javax.jdo.option.ConnectionUserName</name>
	   <value>root</value>  
    </property>  
    <property>  
	   <name>javax.jdo.option.ConnectionPassword</name>
       <value>123456</value>  
    </property>  
</configuration> 

由于Hive的元数据会存储在Mysql数据库中，所以需要在Hive的配置文件中，指定mysql的相关信息。
javax.jdo.option.ConnectionURL：数据库链接字符串。
此处的主机名，需要设置为自身系统的主机名。这里的主机名为：hadoop
javax.jdo.option.ConnectionDriverName：连接数据库的驱动包。
javax.jdo.option.ConnectionUserName：数据库用户名。
javax.jdo.option.ConnectionPassword：连接数据库的密码。
此处的数据库的用户名及密码，需要设置为自身系统的数据库用户名及密码。

6.另外，还需要告诉Hive，Hadoop的环境配置。所以我们需要修改 hive-env.sh 文件。
首先我们将 hive-env.sh.template 重命名为 hive-env.sh。

mv /opt/hive/conf/hive-env.sh.template  /opt/hive/conf/hive-env.sh 

使用 vi 打开hive-env.sh文件。

vi hive-env.sh 

追加 Hadoop的路径，以及 Hive配置文件的路径到文件中。

# Set HADOOP_HOME to point to a specific hadoop install directory 
# HADOOP_HOME=${bin}/../../hadoop 
HADOOP_HOME=/opt/hadoop  
# Hive Configuration Directory can be controlled by: 
# export HIVE_CONF_DIR= 
export HIVE_CONF_DIR=/opt/hive/conf 

7.下一步是配置MySQL，用于存储Hive的元数据。
首先，需要保证 MySQL 已经启动。执行以下命令，查看MySQL的运行状态。

service mysqld status 

若没有启动，执行启动命令。

service mysqld start 

8.开启MySQL数据库。

mysql -u root -p 

输入密码进入数据库
创建名为 hive 的数据库，编码格式为 latin1，用于存储元数据。

mysql> create database hive CHARACTER SET latin1; 

查看数据库 hive是否创建成功。

mysql> show databases; 

输入exit 退出 MySQL

mysql> exit; 

9.执行测试。由于Hive对数据的处理，依赖MapReduce计算模型，所以需要保证Hadoop相关进程已经启动。( /opt/hadoop/sbin/start-all.sh )

启动Hadoop后，在终端命令行界面，直接输入hive便可启动Hive命令行模式。

输入HQL语句查询数据库，测试Hive是否可以正常使用。

hive> show databases; 

至此Hive安装完毕。

如有错误，欢迎私信纠正，谢谢支持！