Hive搭建步骤及其测试

Hive搭建及其测试

Hive的安装和使用

​ 我们的版本约定：

​ JAVA_HOME=/usr/local/soft/jdk1.8.0_171

​ HADOOP_HOME=/usr/local/soft/hadoop-2.7.6

​ HIVE_HOME=/usr/local/soft/hive-1.2.1

一、安装Hive

前提是：mysql和hadoop必须已经成功启动了

准备工作

在MySQL中创建Hive元数据库(库名为hive)
create database hive character set "latin1";
退出MySQL
exit;

上传安装包

将安装包上传到Xftp中 /usr/local/soft/packages 目录中
apache-hive-1.2.1-bin.tar.gz
mysql-connector-java-5.1.49.jar

1、解压hive的安装包

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/local/soft/

解压后生成的目录名称太长了
修改一下目录名称：
mv apache-hive-1.2.1-bin hive-1.2.1

2、配置环境变量

vim /etc/profile
加上HIVE_HOME=/usr/local/soft/hive-1.2.1

重新加载环境变量
source /etc/profile

3、修改配置文件

(1)进入hive-1.2.1/conf目录，复制备份文件并重命名

复制备份重用名
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml

(2)修改hive-env.sh

vim hive-env.sh

最下面加入三行内容（大家根据自己的实际目录来添加）
HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
JAVA_HOME=/usr/local/soft/jdk1.8.0_171
HIVE_HOME=/usr/local/soft/hive-1.2.1

(3)修改hive-site.xml

<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://master:3306/hive?useSSL=false</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>123456</value>
</property>
<property>
	<name>hive.querylog.location</name>
	<value>/usr/local/soft/hive-1.2.1/tmp</value>
</property>
<property>
	<name>hive.exec.local.scratchdir</name>
	<value>/usr/local/soft/hive-1.2.1/tmp</value>
</property>
<property>
	<name>hive.downloaded.resources.dir</name>
	<value>/usr/local/soft/hive-1.2.1/tmp</value>
</property>

4、拷贝mysql驱动到/lib目录下

cp /usr/local/soft/packages/mysql-connector-java-5.1.49.jar /usr/local/soft/hive-1.2.1/lib	 

5、将hive的jline-2.12.jar拷贝到hadoop对应目录下

hive的 jline-2.12.jar 位置在 ：/usr/local/soft/hive-1.2.1/lib/jline-2.12.jar

将hive的jar拷过去hadoop下：

cp /usr/local/soft/hive-1.2.1/lib/jline-2.12.jar /usr/local/soft/hadoop-2.7.6/share/hadoop/yarn/lib/

6、启动hive：

hive

7、修改mysql元数据库hive，让其hive支持utf-8编码以支持中文

(1)登录mysql

mysql -u root -p123456

(2)切换到hive数据库

use hive;

(3)修改字段注释字符集

alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;

(4)修改表注释字符集

alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

(5)修改分区表参数，以支持分区键能够用中文表示

alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;

alter table PARTITIONS modify column PART_NAME varchar(767) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL;

alter table PARTITION_KEY_VALS modify column PART_KEY_VAL varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL;

(6)修改索引注解(可选)

alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

二、测试hive

1、启动hive

hive

2、在hive中创建test1数据库

create database test1;

3、切换test1数据库

use test1;

4、创建students表

create table students(
  id bigint comment '学生id',
  name string comment '学生姓名',
  age int comment '学生年龄',
  gender string comment '学生性别',
  clazz string comment '学生班级'
) comment '学生信息表' 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','; 

5、创建score表

create table score(
  id bigint comment '学生id',
  score_id bigint  comment '科目id',
  score int comment '学生成绩'
) comment '学生成绩表'  
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';  

6、查看表信息

desc students;
desc score;