1.Hive底层执行引擎支持: MR/Tez/Spark
2.统一元数据管理:
Hive数据是存放在HDFS 元数据信息(记录数据的数据)是存放在MySQL中 SQL on Hadoop: Hive、Spark SQL、impala....
3.Hive体系架构
client: shell、thrift/jdbc(server/jdbc)、WebUI(HUE/Zeppelin) metastore: ==> MySQL database: name、location、owner.... table: name、location、owner、column name/type ....
4.Hive部署
https://archive.cloudera.com/cdh5/cdh/5/ # 下载地址 hive-1.1.0-cdh5.16.2.tar.gz # 下载个hadoop版本一样在hive版本 mkdir -p /usr/local/hive cd /usr/local/hive wget https://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.16.2.tar.gz # 下载 tar -zxvf hive-1.1.0-cdh5.16.2.tar.gz # 解压 vim /etc/profile export HIVE_HOME=/usr/local/hive/hive-1.1.0-cdh5.16.2 # hive export PATH=$HIVE_HOME/bin:$PATH # hive source /etc/profile /usr/local/hive/hive-1.1.0-cdh5.16.2/conf # 修改配置文件 cp hive-env.sh.template hive-env.sh vim hive-env.sh HADOOP_HOME=/usr/local/hadoop2.6/hadoop-2.6.0-cdh5.16.2 # 修改hadoop home路径 scp mysql-connector-java-5.1.48.jar root@192.168.107.216:/usr/local/hive/hive-1.1.0-cdh5.16.2/lib # 数据库启动拷贝到这个目录下 vim hive-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://10.133.3.10:3306/hadoop_hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=utf8&useSSL=false</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> </configuration> cd /usr/local/hive/hive-1.1.0-cdh5.16.2/bin # 进入启动hive目录 hive # 直接启动hive 启动成功会自动创建前面我们设置的数据库 hadoop_hive