BigData——Hive安装

Hive安装

首先安装MySQL

1、查看mysql的依赖

rpm -qa | grep mysql

2、删除mysql的依赖

 rpm -e --nodeps `rpm -qa | grep mysql`
 rpm -e --nodeps `rpm -qa | grep MySQL`

3、离线安装mysql

rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm   
rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm

4、启动mysql服务 （centos6系统）

service mysql start

5、加入到开机启动项

chkconfig mysql on

6、访问mysql服务并修改权限

mysql -uroot -p123456

切换数据库：use mysql;

查看用户权限表： select user,host from user

update user set host = '%' where user = 'root' （提示报错不用管，忽略）

刷新权限：flush privileges;

再安装HIVE

1、解压hive的安装包

tar -zxvf apache-hive-1.2.1-bin.tar.gz 

修改下目录名称

mv apache-hive-1.2.1-bin hive-1.2.1

2、备份配置文件

 cp hive-env.sh.template hive-env.sh
 cp hive-default.xml.template hive-site.xml

3、修改配置文件

修改hive-env.sh

HADOOP_HOME=/bigdata/hadoop-2.6.0
JAVA_HOME=/bigdata/jdk1.8.0_171
HIVE_HOME=/bigdata/hive-1.2.1

修改hive-site.xml

<建议使用模式匹配进行查找替换，文件很长

也可以把xml文件放到windows环境下，利用sublimetext3等工具搜索替换>

<property>
	<name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://master:3306/hive?useSSL=false</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>123456</value>
</property>
<property>
	<name>hive.querylog.location</name>
	<value>/bigdata/hive-1.2.1/tmp</value>
</property>
<property>
	<name>hive.exec.local.scratchdir</name>
	<value>/bigdata/hive-1.2.1/tmp</value>
</property>
<property>
	<name>hive.downloaded.resources.dir</name>
	 <value>/bigdata/hive-1.2.1/tmp</value>
</property>

4、替换相关的jar包

拷贝mysql驱动到/usr/local/soft/hive-1.2.1/lib目录下

cp /bigdata/packet/mysql-connector-java-5.1.17.jar ../lib/

将hadoop的jline-0.9.94.jar的jar替换成hive的版本。

hive的 jline-2.12.jar 位置在 /bigdata/hive-1.2.1/lib/jline-2.12.jar

将Hadoop的删除

rm -rf  /bigdata/hadoop-2.6.0/share/hadoop/yarn/lib/jline-0.9.94.jar

然后将hive的jar拷过去hadoop下：

命令：

cp  /bigdata/hive-1.2.1/lib/jline-2.12.jar /bigdata/hadoop-2.6.0/share/hadoop/yarn/lib/

5、启动在主节点/bigdata/hive-1.2.1/bin目录下执行：

 ./schematool -dbType mysql -initSchema

//初始化元数据

6、启动Hive ./hive

遇见的问题：

在安装mysql的时候，可能会有centos自带的mysql会有端口冲突。

如果遇见error: Failed dependencies: MySQL conflicts with mysql-5.1.71-1.el6.x86_64 使用rpm -e mysql-5.1.73-5.el6_7.1.x86_64 --nodeps删除他

如果发现MySQL的服务不在状态 就可以ps找一下进程号 kill杀死 重新启动一下就OK了 ps aux | grep mysql kill -9 进程号

mysql 的相关命令是/etc/init.d/mysql status/stop/start/...