Hive框架基础(一)
* Hive框架基础(一)
一句话:学习Hive有毛用?
那么解释一下 毛用:
* 操作接口采用类SQL语法,提供快速开发的能力(不会Java也可以玩运算)
* 避免了去写MapReduce,减少开发人员的学习成本(MapReduce运算写断手)
* 扩展功能很方便
* 数据库不等同于数据仓库
数据库有很多,例如:mysql、oracle、DB2、sqlserver,但hive并不是数据库。
Hive是FaceBook的开源项目,Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件,映射成一张表,并提供类似SQL查询功能, hive的HQL语言(类似SQL)可以将任务翻译成Java语言并直接在MapReduce上运行,支持Yarn资源调度。hive一般不会直接接入到业务中使用,从某种意义上来讲呢,相当于一个Hadoop的客户端,Hive在集群中并不需要每一台服务器都安装Hive。
** Hive的一些重要特性
* 本质:将HQL转化成MapReduce任务
* 底层存储使用HDFS
* 适合离线批量处理,延迟比较大(用于周期性的执行分析),不适合用于在线的需要实时分析结果的场景
* Hive体系结构
* 用户接口: Client
* 终端命令行CLI --主要的一种使用方式,JDBC的方式一般不使用,比较麻烦。
* 元数据:metastore
* 默认apache使用的是derby数据库(只能有一个客户端使用),CDH使用postgreDB
* 元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段、表的类型(是否是外部表),表的数据所在目录等,并没有存储Hive表的真实数据
* 使用HDFS进行存储
* 使用MapReduce进行计算
* 解析器: 解析Hql语句
* 编译器: 把sql语句翻译成MapReduce程序
* 优化器: 优化sql语句
* 执行器: 在yarn平台运行MapReduce程序
* Hive在Hadoop中的位置,如图:
![](http://upload-images.jianshu.io/upload_images/4951489-c6ae30de3e42bbf2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
** Hive部署
* 安装JDK(此步骤省略,请查看之前内容)
* 安装Hadoop
此步骤要确保Hadoop可以正常使用,比如上传文件,运行jar任务等等
* 安装Hive
Hive下载地址传送门:链接:http://pan.baidu.com/s/1eSFuTWm 密码:k5xo
安装过程涉及命令:
$ tar -zxf apache-hive-0.13.1-bin.tar.gz -C /opt/modules/
进入Hive根目录下的conf目录,进行如下操作,到这个阶段应该无需解释了吧?
$ cp -a hive-env.sh.template hive-env.sh,如图:
![](http://upload-images.jianshu.io/upload_images/4951489-38b70d8864ccdc5d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
$ cp -a hive-default.xml.template hive-site.xml,如图:
![](http://upload-images.jianshu.io/upload_images/4951489-ec60ca6566a7745f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
* 修改hive-env.sh
JAVA_HOME=/opt/modules/jdk1.8.0_121
HADOOP_HOME=/opt/modules/hadoop-2.5.0
export HIVE_CONF_DIR=/opt/modules/apache-hive-0.13.1-bin/conf
如图:
![](http://upload-images.jianshu.io/upload_images/4951489-561709823b07f3f7.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
* 安装mysql,依次涉及命令:
$ su - root
# yum -y install mysql mysql-server mysql-devel
# wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
# rpm -ivh mysql-community-release-el7-5.noarch.rpm
# yum -y install mysql-community-server
* 成功安装之后启动mysql服务
# systemctl start mysqld.service,centOS7以下版本使用:# service mysqld start
注意,初次安装mysql是root账户是没有密码的
* 设置密码
方案一:
# mysqladmin -uroot password '123456'
方案二:
# mysql -uroot -p
mysql> update user set password=password("123456") where user='root';
mysql> flush privileges;
mysql> exit;
* 给用户授权
# mysql -uroot -p
mysql>grant all on *.* to root@'z01' identified by '123456' ;
mysql> flush privileges;
mysql> exit;
注释:
(grant 权限1,权限2,…权限n on 数据库名称.表名称 to 用户名@用户地址 identified by ‘连接口令’;)
* mysql数据库默认只允许root用户通过localhost/127.0.0.1来登录使用
* 上面带有grant的那条语句中:
all:表示所有权限;
*.*:表示数据库.数据表;
root:表示授权给哪个用户,用户名可以任意指定,如果没有会自动创建;
'z01' :授权给哪台主机
'123456':授权给用户来登录的密码
(尖叫提示:如果你需要让所有的分布式机器都有权限访问mysql,在此例子中,还需要执行grant all on *.* to root@'z02' identified by '123456' ;以及grant all on *.* to root@'z03' identified by '123456' ;留意@符号后边的主机名)
* 配置hive-site.xml
打开之后,该文件中显示的全部为默认的配置,其中如下4项做出相应修改:
![](http://upload-images.jianshu.io/upload_images/4951489-c0339320524b50ed.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
* 安装驱动包
涉及命令:
$ tar -zxf mysql-connector-java-5.1.27.tar.gz -C /opt/modules
$ cp mysql-connector-java-5.1.27-bin.jar /opt/modules/apache-hive-0.13.1-bin/lib/
操作如图所示:
![](http://upload-images.jianshu.io/upload_images/4951489-69c9800dae944f23.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
* 修改目录权限
首先确保HDFS正常运行,之后涉及命令:
$ bin/hadoop fs -chmod g+w /tmp
$ bin/hadoop fs -chmod g+w /user/hive/warehouse
(注意:/tmp存放临时文件;/user/hive/warehouse 具体的Hive仓库目录)
![](http://upload-images.jianshu.io/upload_images/4951489-dad993d87033293d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
* 启动Hive客户端
$ bin/hive,如图:
![](http://upload-images.jianshu.io/upload_images/4951489-0a4d909114674661.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
* 中场小结:hive、hadoop的关系、mysql三者之间的关系
* hive数据存储在HDFS的/user/hive/warehouse目录中,我们通过查看hive-site.xml中的hive.metastore.warehouse.dir属性即可发现如图:
![](http://upload-images.jianshu.io/upload_images/4951489-91af969e4983313c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/678)
* Hive基本操作
* 显示所有数据库
hive> show databases;
* 创建数据库
语法:
hive (default)> create database 数据库名称 ;
例如:
创建一个数据库d1:
hive> create databases d1;
* 删除数据库
hive (default)> drop database 数据库名称 ;
* 进入d1数据库
hive> use d1;
* 创建表
语法:
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
[(col_name data_type ...)]
[PARTITIONED BY (col_name data_type , ...)]
[ROW FORMAT row_format]
[LOCATION hdfs_path]
[AS select_statement];
例如:
在当前数据库中创建表staff,其中包含字段:id,name,sex
hive> create table staff(id int, name string, sex string) row format delimited fields terminated by '\t';
(注意:最后那一句英文表明数据字段之间用table制表符分割)
* 格式化输出表staff的结构
hive> desc formatted staff;
如图:
![](http://upload-images.jianshu.io/upload_images/4951489-3fdb4df66a3112db.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
* 向表中插入数据
语法:
load data local inpath '文件路径' [overwrite] into table 数据库名.表名 ;
解释:
** local 表示加载本地文件
** 文件加载模式:append 追加(默认使用)或 overwrite 覆盖
** load data加载只是进行了简单的位置转移(如果load一个HDFS上的数据,比如从HDFS中的一个位置移动到HDFS中的另一个位置,会发生数据转移,转移之后,原来目录的数据就没有了,如果是从local到HDFS,则不会删除原来的数据)
** 加载数据过程中不会去判断字段分隔符是否正确,只有在用户查询数据的时候,会发现错误
例如:
首先,在hive的本地安装目录下,创建文件staff.txt,该文件内容如下:
![](http://upload-images.jianshu.io/upload_images/4951489-cd70b1e84f9e9334.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
接着,将本地文件中的数据导入到table中,使用命令:
hive> load data local inpath 'staff.txt' into table staff;
最后查看导入后的效果
hive> select * from staff;
如图:
![](http://upload-images.jianshu.io/upload_images/4951489-1d7c89d05fcc1639.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
* 修改Hive日志信息
** 重命名配置文件
$ mv hive-log4j.properties.template hive-log4j.properties
** 创建文件夹
$ mkdir logs
** 编辑hive-log4j.properties文件,并修改日志存储目录
hive.log.dir=/opt/modules/apache-hive-0.13.1-bin/logs
如图:
![](http://upload-images.jianshu.io/upload_images/4951489-cd61acf598ca5d4a.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
![](http://upload-images.jianshu.io/upload_images/4951489-0bccc836d8019a7f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/493)
* 设置hive在操作时是否显示数据库名称和列名
如图:
![](http://upload-images.jianshu.io/upload_images/4951489-f0bfe874956e32c5.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
* Hive任务
hive任务有两种:
走mapreduce:
hive (default)> select name from d1.staff;
如图:
![](http://upload-images.jianshu.io/upload_images/4951489-07ced53675c78858.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
不走mapreduce:
hive (default)> select * from d1.staff;
如图:
![](http://upload-images.jianshu.io/upload_images/4951489-3e717ff879b502d5.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/511)
* Hive的调试
在调试Hive任务时,一般会加入如下参数:
$ bin/hive --hiveconf hive.root.logger=DEBUG,console
* mysql数据库备份与还原
备份与还原的数据库名称均为:metastore,如图:
![](http://upload-images.jianshu.io/upload_images/4951489-82d1cb2ace6f4a31.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/285)
** 备份:
$ mysqldump -uroot -p metastore > metastore.sql
如图:
![](http://upload-images.jianshu.io/upload_images/4951489-9b8372f094ddf03d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
** 还原:
方案1:
$ mysql -uroot -p metastore < metastore.sql
如图:
![](http://upload-images.jianshu.io/upload_images/4951489-83b523ffaedec608.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/653)
方案2:
$ mysql -uroot -p
mysql> source /path/metastore.sql ;
* 拓展:mysql存储中innodb和MYISAM区别
InnoDB和MyISAM是许多人在使用MySQL时最常用的两个表类型,这两个表类型各有优劣,视具体应用而定。基本的差别为:MyISAM类型不支持事务处理等高级处理,而InnoDB类型支持。MyISAM类型的表强调的是性能,其执行数度比InnoDB类型更快,但是不提供事务支持,而InnoDB提供事务支持以及外部键等高级数据库功能。
** innodb
新版本5.5+中默认使用;
.frm 结构文件;
.ibdata1 数据文件;
** MYISAM
/var/lib/mysql;
.frm 结构文件;
.MYI 索引文件;
.MYD 数据文件;
* Hive命令两个重要参数
执行sql语句:-e
$ bin/hive -e "select * from d1.staff",如图:
![](http://upload-images.jianshu.io/upload_images/4951489-c01169b797b53f1e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
执行sql语句文件:-f
首先创建一个带有sql语句的文件p1.hql,如图:
![](http://upload-images.jianshu.io/upload_images/4951489-26c5313c41702c99.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/288)
$ bin/hive -f p1.hql,如图:
![](http://upload-images.jianshu.io/upload_images/4951489-f1daa42fb12bf079.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
* Hive 历史命令的存放
存放位置:~/.hivehistory
查看该文件,如图:
![](http://upload-images.jianshu.io/upload_images/4951489-19b8391fe1285e12.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
* Hive中临时设置配置并生效
例如:hive > set hive.cli.print.current.db=true;
(注意,此方式为临时生效)
* 总结
本节主要讲解如何配置并使用Hive,并观察hive任务在mapreduce中的运行以及结果的输出。
个人微博:http://weibo.com/seal13
QQ大数据技术交流群(广告勿入):476966007
作者:Z尽际
链接:https://www.jianshu.com/p/76c0897cbd09
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。