HIVE—数据仓库
1、 hive是什么?
Hive是基于 Hadoop 的一个数据仓库工具:
1. hive本身不提供数据存储功能,使用HDFS做数据存储;
2. hive也不分布式计算框架,hive的核心工作就是把sql语句翻译成MR程序;
3. hive也不提供资源调度系统,也是默认由Hadoop当中YARN集群来调度;
4. 可以将结构化的数据映射为一张数据库表,并提供 HQL(Hive SQL)查询功能。
2、 hive和Hadoop关系
Hive利用HDFS存储数据,利用MapReduce查询数据
3、 hive特点
1. 可以将结构化的数据文件映射为一张数据库表(二维表),并提供类SQL查询功能
2. 可以将sql语句转换为MapReduce任务进行运行。Hive 将用户的HiveQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上,Hadoop 监控作业执行过程,然后返回作业执行结果给用户。
3. Hive 在加载数据过程中不会对数据进行任何的修改,只是将数据移动到HDFS 中Hive 设定的目录下,因此,Hive 不支持对数据的改写和添加,所有的数据都是在加载的时候确定的。
4. Hive的适应场景:只适合做海量离线数据的统计分析。
4、 hive数据的存储
1. Hive中所有的数据都存储在 HDFS 中,没有专门的数据存储格式(可支持Text,SequenceFile,ParquetFile,RCFILE等)
2. 只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符,Hive 就可以解析数据。
3. Hive 中包含以下数据模型:DB、Table,External Table,Partition,Bucket。
db:在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹
table:在hdfs中表现所属db目录下一个文件夹
external table:与table类似,不过其数据存放位置可以在任意指定路径
partition:在hdfs中表现为table目录下的子目录
bucket:在hdfs中表现为同一个表目录下根据hash散列之后的多个文件
5、 Hive 体系结构
6、 hive的架构原理
Driver是核心,Driver可以解析语法,最难的就是解析sql的语法,只要把SQL的语法解析知道怎么做了,它内部用MapReduce模板程序,它很容易把它组装起来,比如做一个join操作,最重要的是识别语法,认识你的语法,知道你语法有什么东西,解析出来会得到一个语法树,根据一些语法树,去找一些MapReduce模板程序,把它组装起来。
例如:有二个表去join,内部有一个优化机制,有一个默认值,如果小表小于默认值,就采用map—join ,如果小表大于默认值,就采用reduce——join(其中map——join是先把小表加载到内存中),组装时候就是输入一些参数:比如:你的输入数据在哪里,你的表数据的分隔符是什么,你的文件格式是什么:然而这些东西是我们建表的时候就指定了,所以这些都知道了,程序就可以正常的跑起来。
Hive有了Driver之后,还需要借助Metastore,Metastore里边记录了hive中所建的:库,表,分区,分桶的信息,描述信息都在Metastore,如果用了MySQL作为hive的Metastore:需要注意的是:你建的表不是直接建在MySQL里,而是把这个表的描述信息放在了MySQL里,而tables表,字段表是存在HDFS上的hive表上,hive会自动把他的目录规划/usr/hive/warehouse/库文件/库目录/表目录,你的数据就在目录下
7、 内外表
内部表在删除表的时候,会删除元数据和数据;外部表在删除表的时候,只删除元数据,不删除数据
内部表和外部表使用场景:
1. 一般情况来说,如果数据只交给hive处理,那么一般直接使用内部表;
2. 如果数据需要多个不同的组件进行处理,那么最好用外部表,一个目录的数据需要被spark、hbase等其他组件使用,并且hive也要使用,那么该份数据通过创建一张临时表为外部表,然后通过写HQL语句转换该份数据到hive内部表中
8、 分桶
分桶操作:按照用户创建表时指定的分桶字段进行hash散列,跟MapReduce中的HashPartitioner的原理一模一样。
MapReduce中:按照key的hash值去模除以reductTask的个数;Hive中:按照分桶字段的hash值去模除以分桶的个数
hive分桶操作的效果:把一个文件按照某个特定的字段和桶数 散列成多个文件
好处:1、方便抽样;2、提高join查询效率
9、 Hive分区
做统计的时候少统计,把我们的数据放在多个文件夹里边,我们统计时候,可以指定分区,这样范围就会小一些,这样就减少了运行的时间。
10、 Hive 的所有跟数据相关的概念
db: myhive, table: student 元数据:hivedb
Hive的元数据指的是 myhive 和 student等等的库和表的相关的各种定义信息,该元数据都是存储在mysql中的:
1. myhive是hive中的一个数据库的概念,其实就是HDFS上的一个文件夹,跟mysql没有多大的关系;
2. myhive是hive中的一个数据库,那么就会在元数据库hivedb当中的DBS表中存储一个记录,这一条记录就是myhive这个hive中数据的相关描述信息。
3. hive中创建一个库,就相当于是在hivedb中DBS(数据库)中插入一张表, 并且在HDFS上建立相应的目录—主目录;
4. hive中创建一个表,就相当于在hivedb中TBLS(数据库中的表)表中插入一条记录,并且在HDFS上项目的库目录下创建一个子目录;
5. 一个hive数据仓库就依赖于一个RDBMS(关系数据库管理系统)中的一个数据库,一个数据库实例对应于一个Hive数据仓库;
6. 存储于该hive数据仓库中的所有数据的描述信息,都统统存储在元数据库hivedb中。
11、 源数据与元数据
1. Hive元数据 :描述和管理这些block信息的数据,由namenode管理,一定指跟 hivedb相关,跟mysql相关;
2. Hive源数据-- block块: HDFS上的对应表的目录下的文件HDFS上的数据和元数据。
myhive 和 hivedb的区别:
1. myhive是hive中的数据库: 用来存储真实数据—源数据;
2. hivedb是mysql中的数据库: 用来多个类似myhive库的真实数据的描述数据—元数据;
1) Hive基本命令整理
创建表:
hive> CREATE TABLE pokes (foo INT, bar STRING);
Creates a table called pokes with
two columns, the first being an integer and the other a string
创建一个新表,结构与其他一样
hive> create table new_table like records;
创建分区表:
hive> create table logs(ts bigint,line string) partitioned by (dt
String,country String);
加载分区表数据:
hive> load data local inpath '/home/hadoop/input/hive/partitions/file1' into
table logs partition (dt='2001-01-01',country='GB');
展示表中有多少分区:
hive> show partitions logs;
展示所有表:
hive> SHOW TABLES;
lists all the tables
hive> SHOW TABLES '.*s';
lists all the table that end with 's'.
The pattern matching follows Java regular
expressions. Check out this link for documentation
显示表的结构信息
hive> DESCRIBE invites;
shows the list of columns
更新表的名称:
hive> ALTER TABLE source RENAME TO target;
添加新一列
hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');
删除表:
hive> DROP TABLE records;
删除表中数据,但要保持表的结构定义
hive> dfs -rmr /user/hive/warehouse/records;
从本地文件加载数据:
hive> LOAD DATA LOCAL INPATH '/home/hadoop/input/ncdc/micro-tab/sample.txt'
OVERWRITE INTO TABLE records;
显示所有函数:
hive> show functions;
查看函数用法:
hive> describe function substr;
查看数组、map、结构
hive> select col1[0],col2['b'],col3.c from complex;
其他同oracle相同
1.1.1 hive环境搭建
hive的元数据是存放在mysql中的,首先需要安装mysql数据库;然后修改hive配置文件,主要是数据库用户、密码、hadoop文件存放的路径等等。
1.1.1.1 mysql的安装
1.将MySQL5.7上传至centos7
一般搭建环境都是有相应的用户和组,可以自己添加用户和组,我是直接在安装的时候就设置好了centos用户。
tar -zxvf mysql-5.7.tar.gz -C /指定目录 --用root用户解压
将解压后的mysql文件在root下用chown命令只给你添加的用户--chown 用户名:组名 mysql ---这般麻烦操作,所以我在安装系统的时候直接在界面设置好了。
2. 在添加的用户下建立mysql数据文件目录:mkdir home/centos/mysql/data ----~代表当前用户目录
3. 建立软连接:ln -s mysql-5.7.tar.gz mysql --便于设置环境变量
4. 添加环境变量:#mysql
export MYSQL_HOME=/soft/mysql
export PATH=$PATH:$MYSQL_HOME/bin
5. mysql初始化--指定安装目录和数据存放目录
./bin/mysqld --initialize --user=用户名 --basedir=安装目录/mysql/data --datadir=/home/centos/mysql/data
在初始化的最下边有一个对root赋权的密码记录下来
6. 复制启动文件并赋予执行权限
cp mysql.server
/etc/init.d/mysql_server
chmod +x /etc/init.d/mysql_server
7. 修改mysql_server启动路径(basedir 和datadir 是空的,填上就是)
basedir=安装目录/mysql/data
datadir=/home/centos/mysql/data
8. 刷新配置文件 source /etc/profile
9. 修改 /etc/my.cnf --如果不进行初始化,是没有该文件的,这与之前版本是不同的
[client]
port=3306
[mysql_server]
basedir=安装路径
datadir=数据存放路径
socket=/tmp/mysql.sock
user=用户
[mysqld_safe]
log-error=错误日志路径
pid-file=服务pid路径
开始的时候配置文件不要添加太多的东西,否则不容易成功。
10. 启动mysqld
service mysql_server start
netstat -anpt --查看端口
11. 进入mysql,修改密码
mysql -u root -p
提示输入密码:前面初始化的密码
set password for 'root'@'localhost'=password('新密码');
授权
grant all on *.* to 用户@'ip' identified by 密码;
1.1.1.2 hive配置文件的修改
复制hive-default.xml.template为hive-site.xml
[hive/conf/hive-site.xml]
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>Username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://ip:3306/hive2</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
1.1.1.3 启动hive
mysql-connector-java.jar驱动放入hive的lib目录下。
执行初始化hive初始化命令
./soft/hive/bin/schematool -dbType mysql –initSchema
查看mysql数据库中hive库里是否有新的表(之前hive库是空的)
hive>hive --version //
hive>hive --help