hive3.12本地安装测试简记
前置条件:
依赖jdk,请下载jdk8并解压
依赖hadoop,请首先下载hadoop并解压
step1/hive metastore建议使用mysql进行存储,
安装mysql这一步忽略,请自行安装,如果使用docker,可以使用一句docker run解决。
创建hive用户密码和数据库。
mysql
grant all privileges on *.* to hive@'%' identified by 'hive';
flush privileges ;
step2//下载hive3.1.2版本并解压配置
#####conf
配置hive-site.xml log4j and hive-env.sh
HIVE_HOME/conf下面操作
cp hive-log4j2.properties.template hive-log4j2.properties
这样可以后续找到hive.log文件,查看安装使用过程中可能出现的错误,
通过日志解决问题是非常非常重要的。
property.hive.log.dir = /var/log/hive
配置hive-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <configuration> <property> <name>hive.exec.scratchdir</name> <value>/tmp/hive/stage/</value> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/Users/student2020/data/hive/</value> </property> <property> <name>hive.metastore.uris</name> <value>thrift://127.0.0.1:9083</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://127.0.0.1:13306/hive?createDatabaseIfNotExist=true&useSSL=false</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>127.0.0.1</value> </property> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.metastore.event.db.notification.api.auth</name> <value>false</value> </property> <property> <name>hive.server2.active.passive.ha.enable</name> <value>true</value> </property> <property> <name>hive.support.concurrency</name> <value>true</value> </property> <property> <name>hive.exec.dynamic.partition.mode</name> <value>nonstrict</value> </property> <property> <name>hive.txn.manager</name> <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value> </property> <property> <name>hive.compactor.initiator.on</name> <value>true</value> </property> <property> <name>hive.compactor.worker.threads</name> <value>1</value> </property> </configuration>
配置hive-env.sh
配置JAVA_HOME=/PATH/TO/JDK
HADOOP_HOME=/PATH/TO/HADOOP3
step3//使用hive自带的工具初始化metastore需要的表
##### cd /hive/bin
schematool -dbType mysql -initSchema -verbose
step4//启动hive metastore and hiveserver2(服务于beeline和jdbc访问的方式)
###启动hive metastore
export HIVE_HOME=/Users/student2020/app/hive312/
export PATH=$PATH:$HIVE_HOME/bin
hive --service metastore -hiveconf hive.log.file=metastore.log &
####启动hive server2
hive --service hiveserver2 &
可以通过 查看 hive.log,检查可能出现的错误,根据错误提示查找解决方案。
经过这次练习,可以知道 hive本地运行可以不启用hdfs服务,但是需要有hadoop的编译后的包,
需要配置hadoop_home的环境变量,因为hive的查询要转为mr,是需要使用hadoop
相关的jar包的。
编缉一个csv文件做数据测试。
create table test_csv (id int,name string,age int) row format delimited fields terminated by ',' stored as textfile;
load data local inpath '/Users/student2020/data/stage/test.csv' into table test_csv;
select * from test_csv;
查询成功.
测试一下Acid表。3.x新版本的hive不需要对表强制进行分桶即可以使用transcion事务。
CREATE TABLE employee (id int, name string, salary int)
STORED AS ORC TBLPROPERTIES ('transactional' = 'true');
INSERT INTO employee VALUES(
(1, 'Jerry', 5000),
(2,'Jecky',5700)
)
update employee set salary=1000 where id=3;
delete from employ where id=2;
操作成功,如果操作失败,请去hive.log中查看可能的错误。
已知的问题是hive3.1.2.搭配hadoop2.7.x会有更新失败的问题。