spark学习笔记-hive0.13搭建(4)
安装hive包
1、将apache-hive-0.13.1-bin.tar.gz使用WinSCP上传到spark1的/usr/local目录下。
2、解压缩hive安装包:tar -zxvf apache-hive-0.13.1-bin.tar.gz。
3、重命名hive目录:mv apache-hive-0.13.1-bin hive
4、配置hive相关的环境变量 vi .bashrc export HIVE_HOME=/usr/local/hive export PATH=$HIVE_HOME/bin source .bashrc
安装mysql
1 1、在spark1上安装mysql。 2 2、使用yum安装mysql server。 3 yum install -y mysql-server 4 service mysqld start 5 chkconfig mysqld on 6 3、使用yum安装mysql connector 7 yum install -y mysql-connector-java 8 4、将mysql connector拷贝到hive的lib包中 9 cp /usr/share/java/mysql-connector-java-5.1.17.jar /usr/local/hive/lib 10 输入mysql登陆 11 5、在mysql上创建hive元数据库,并对hive进行授权 12 create database if not exists hive_metadata; 13 grant all privileges on hive_metadata.* to 'hive'@'%' identified by 'hive'; 14 grant all privileges on hive_metadata.* to 'hive'@'localhost' identified by 'hive'; 15 grant all privileges on hive_metadata.* to 'hive'@'spark1' identified by 'hive'; 16 flush privileges; 17 use hive_metadata;
配置hive-site.xml
1 mv hive-default.xml.template hive-site.xml 2 vi hive-site.xml 3 <property> 4 <name>javax.jdo.option.ConnectionURL</name> 5 <value>jdbc:mysql://spark1:3306/hive_metadata?createDatabaseIfNotExist=true</value> 6 </property> 7 <property> 8 <name>javax.jdo.option.ConnectionDriverName</name> 9 <value>com.mysql.jdbc.Driver</value> 10 </property> 11 <property> 12 <name>javax.jdo.option.ConnectionUserName</name> 13 <value>hive</value> 14 </property> 15 <property> 16 <name>javax.jdo.option.ConnectionPassword</name> 17 <value>hive</value> 18 </property> 19 <property> 20 <name>hive.metastore.warehouse.dir</name> 21 <value>/user/hive/warehouse</value> 22 </property>
配置hive-env.sh和hive-config.sh
1 mv hive-env.sh.template hive-env.sh 2 3 vi /usr/local/hive/bin/hive-config.sh 4 export JAVA_HOME=/usr/java/latest 5 export HIVE_HOME=/usr/local/hive 6 export HADOOP_HOME=/usr/local/hadoop
验证hive是否安装成功:直接输入hive命令,可以进入hive命令行