Hadoop-(Hive)

介绍

数据仓库的目的是构建面向分析的集成化数据环境;

数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基
于它产出供分析挖掘的数据，或者数据应用需要的数据 ;

特点

面向主题 : 数据仓库通过一个个主题域将多个业务系统的数据加载到一起，为了各个主题（如：用户、订单、商品等）进行分析而建

集成性 :数据仓库会将不同源数据库中的数据汇总到一起,数据仓库中的综合数据不能从原有的数据库系统直接得到。
因此在数据进入数据仓库之前，必然要经过统一与整合，这一步是数据仓库建设中最关键、最复杂的一步(ETL)

非易失性 :hive主要用于离线分析,不像操作性数据库要实时更新以便日常业务需求,主要用到查询操作,很少会有删除更新.

时变性: 数据仓库包含各种粒度的历史数据。通常的目的都是企业去分析过去一段时间或者某一段时间的经营情况来决策接下来的方向.当业务变化后,挖掘出的模式则会失去时效性,所以数据仓库应该定时更新.来满足新业务需求.

数据库与数据仓库的区别

一般说的是 OLTP 与 OLAP 的区别

操作型处理，叫联机事务处理 OLTP（On-Line Transaction Processing，），也可以称面向交易的处理系统，它是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询、修改。

分析型处理，叫联机分析处理 OLAP（On-Line Analytical Processing）一般针对某些主题的历史数据进行分析，支持管理决策 .

数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”

数仓的分层架构

按照数据流入流出的过程，数据仓库架构可分为三层——源数据、数据仓库、数据应用。

数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自下而上流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。

为什么要对数据仓库分层？

个人感觉,其实更多的引用到分布式思想,用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率） ;

还有如果不分层的话,当你修改其中的业务规则,则可能影响到整个清洗流程,工作量大,而分层的话调整性的工作将变得更容易些;

数仓的元数据管理

元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。

元数据不仅定义了数据仓库中数据的模式、来源、抽取和转换规则等，而且是整个数据仓库系统运行的基础，元数据把数据仓库系统中各个松散的组件联系起来，组成了一个有机的整体 ;

Hive的介绍和优点

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能 ;

更进一步可以说hive就是一个将SQL语句转换为能自我解析的MapReduce的客户端 ;

采用类SQL语法去操作数据，提供快速开发的能力。
由于它的底层是mapreduce,避免了去写MapReduce，减少开发人员的学习成本。
功能扩展很方便 .

用户接口：包括CLI、JDBC/ODBC、WebGUI。其中，CLI(command line interface)为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。
元数据存储：通常是存储在关系数据库如mysql/derby中。Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。
解释器、编译器、优化器、执行器: 完成HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS 中，并在随后有MapReduce 调用执行

Hive和Hadoop的关系

Hive 的基本操作-库

在hive中,一个数据库就是一个文件夹,一张表也是一个文件夹

创建数据库

create database if not exists myhive;

说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定的

创建数据库并指定位置

create database myhive2 location '/myhive2';

设置数据库键值对信息

create database foo with dbproperties ('owner'='itcast','date'='20190120');

查看数据库的键值对信息：

describe database extended foo;

修改数据库的键值对信息：

alter database foo set dbproperties ('owner'='itheima');

查看数据库更多详细信息

desc database extended myhive2;

强制删除数据库，包含数据库下面的表一起删除

drop database myhive cascade;

表操作

创建表的语法:

create [external] table [if not exists] table_name (
col_name data_type [comment '字段描述信息']
col_name data_type [comment '字段描述信息'])
[comment '表的描述信息']
[partitioned by (col_name data_type,...)]
[clustered by (col_name,col_name,...)]
[sorted by (col_name [asc|desc],...) into num_buckets buckets]
[row format row_format]
[storted as ....]
[location '指定表的路径']

说明：

create table
创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT
EXISTS 选项来忽略这个异常。
external
可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径
（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部
表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的
元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。
comment
表示注释,默认不能使用中文
partitioned by
表示使用表分区,一个表可以拥有一个或者多个分区，每一个分区单独存在一个目录下 .
clustered by 对于每一个表分文件， Hive可以进一步组织成桶，也就是说桶是更为细粒
度的数据范围划分。Hive也是针对某一列进行桶的组织。
sorted by
指定排序字段和排序规则
row format
指定表文件字段分隔符
storted as指定表文件的存储格式, 常用格式:SEQUENCEFILE, TEXTFILE, RCFILE,如果文件
数据是纯文本，可以使用 STORED AS TEXTFILE。如果数据需要压缩，使用 storted as
SEQUENCEFILE。
location
指定表文件的存储路径

内部表和外部表的说明

内部表

创建表时,如果没有使用external关键字,则该表是内部表（managed table）

外部表说明

外部表因为是指定其他的hdfs路径的数据加载到表当中来，所以hive表会认为自己不完全独占这份数据，所以删除hive表的时候，数据仍然存放在hdfs当中，不会删掉. (其实就是将数据文件与hdfs的数据表的映射中断了,当下次链接时数据依然在.)

内部表和外部表的使用场景

外部表表示共有,内部表示私有

每天将收集到的网站日志定期流入HDFS文本文件。在外部表（原始日志表）的基础上做大量的统计分析，用到的中间表、结果表使用内部表存储，数据通过SELECT+INSERT进入内部表。

内部表操作

向表中插入数据时,这些数据会生成表文件数据,表文件字段之间默认的分隔符是 '\001'

建表入门:

use myhive;
create table stu(id int,name string);
insert into stu values (1,"zhangsan"); #插入数据
select * from stu;

创建表并指定字段之间的分隔符

create table if not exists stu2(id int ,name string) row format delimited fields terminated by '\t';

创建表并指定表文件的存放路径 (HDFS集群)

create table if not exists stu2(id int ,name string) row format delimited fields terminated by '\t' location '/user/stu2';

根据查询结果创建表

create table stu3 as select * from stu2; # 通过复制表结构和表内容创建新表

根据已经存在的表结构创建表

create table stu4 like stu;

查询表的详细信息

desc formatted stu2;

删除表删除内部表,会将元数据和表数据一起删除

drop table stu4;

外部表的操作

创建老师表

create external table teacher (t_id string,t_name string) row format delimited fields terminated by '\t';

创建学生表

create external table student (s_id string,s_name string,s_birth string ,s_sex string ) row format delimited fields terminated by '\t';

加载数据

load data local inpath '/export/servers/hivedatas/student.csv' into table student;

加载数据并覆盖已有数据

load data local inpath '/export/servers/hivedatas/student.csv' overwrite into table student;

show partitions score;

添加一个分区

alter table score add partition(month='201805');

删除分区

alter table score drop partition(month = '201806');

直接向分区表中插入数据

create table score3 like score;
insert into table score3 partition(month ='201807') values ('001','002','100');

现在有一个文件score.csv文件，存放在集群的这个目录下/scoredatas/month=201806，这个文件每天都会生成，存放到对应的日期文件夹下面去，文件别人也需要公用，不能移动。需求，创建hive对应的表，并将数据加载到表中，进行数据统计分析，且删除表之后，数据不能删除

数据准备

hdfs dfs -mkdir -p /scoredatas/month=201806
hdfs dfs -put score.csv /scoredatas/month=201806/

创建外部分区表，并指定文件数据存放目录

create external table score4(s_id string, c_id string,s_score int) partitioned by (month string) row format delimited fields terminated by '\t' location '/scoredatas';

进行表的修复 (建立表与数据文件之间的一个关系映射)

msck repair table score4;

分桶表操作(分文件)

分桶，就是将数据按照指定的字段进行划分到多个文件当中去,分桶就是MapReduce中的分区.

开启 Hive 的分桶功能

set hive.enforce.bucketing=true;

设置 Reduce 个数

set mapreduce.job.reduces=3;

创建分桶表

create table course (c_id string,c_name string,t_id string) clustered by(c_id) into 3 buckets row format delimited fields terminated by '\t';

桶表的数据加载，由于通标的数据加载通过hdfs dfs -put文件或者通过load data均不好使，只能通过insert overwrite创建普通表，并通过insert overwriter的方式将普通表的数据通过查询的方式加载到桶表当中去 (复制,通过中间商获取数据)

创建普通表

create table course_common (c_id string,c_name string,t_id string) row format delimited fields terminated by '\t';

普通表中加载数据

load data local inpath '/export/servers/hivedatas/course.csv' into table course_common;

通过insert overwrite给桶表中加载数据

insert overwrite table course select * from course_common cluster by(c_id);

修改表结构

把表score4修改成score5

alter table score4 rename to score5;

查询表结构

desc score5;

添加列

alter table score5 add columns (mycol string, mysco int);

更新列

alter table score5 change column mysco mysconew int;

查询操作

LIKE 和 RLIKE

使用LIKE运算选择类似的值

选择条件可以包含字符或数字:

% 代表零个或多个字符(任意个字符)。
_ 代表一个字符

RLIKE子句是Hive中这个功能的一个扩展，其可以通过Java的正则表达式这个更强大的语
言来指定匹配条件。

多表连接

select * from teacher t
left join course c
on t.t_id = c.t_id
left join score s
on s.c_id = c.c_id
left join student stu
on s.s_id = stu.s_id;

大多数情况下，Hive会对每对JOIN连接对象启动一个MapReduce任务。本例中会首先启动一个MapReduce job对表echer和表course进行连接操作，然后会再启动一个MapReduce job将第一个MapReduce job的输出和表score;进行连接操作。

排序

全局排序
Order By：全局排序，一个reduce

使用 ORDER BY 子句排序 ASC（ascend）: 升序（默认） DESC（descend）: 降序
ORDER BY 子句在SELECT语句的结尾。

每个MapReduce内部排序（Sort By）局部排序
Sort By：每个MapReduce内部进行排序，对全局结果集来说不是排序。

设置reduce个数

set mapreduce.job.reduces=3;

查看设置reduce个数

set mapreduce.job.reduces;

查询成绩按照成绩降序排列

select * from score sort by s_score;

将查询结果导入到文件中（按照成绩降序排列）

insert overwrite local directory '/export/servers/hivedatas/sort' select * from score sort by s_score;

分区排序（DISTRIBUTE BY）
Distribute By：类似MR中partition，进行分区，结合sort by使用。
注意，Hive要求DISTRIBUTE BY语句要写在SORT BY语句之前。
对于distribute by进行测试，一定要分配多reduce进行处理，否则无法看到distribute by的效果。

案例实操：先按照学生id进行分区，再按照学生成绩进行排序。

设置reduce的个数，将我们对应的s_id划分到对应的reduce当中去

set mapreduce.job.reduces=7;

通过distribute by 进行数据的分区

insert overwrite local directory '/export/servers/hivedatas/sort' select * from score distribute by s_id sort by s_score;

CLUSTER BY
当distribute by和sort by字段相同时，可以使用cluster by方式。
cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是倒序排序，不
能指定排序规则为ASC或者DESC。
以下两种写法等价

select * from score cluster by s_id;
select * from score distribute by s_id sort by s_id;

Hive命令行

语法结构

bin/hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e querystring>] [-S]

Hive参数配置方式

开发Hive应用时，不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率，或帮助定位问题。
对于一般参数，有以下三种设定方式：

配置文件
命令行参数
参数声明

配置文件：Hive的配置文件包括

用户自定义配置文件：$HIVE_CONF_DIR/hive-site.xml
默认配置文件： $HIVE_CONF_DIR/hive-default.xml

用户自定义配置会覆盖默认配置。
另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。
配置文件的设定对本机启动的所有Hive进程都有效。
命令行参数：启动Hive（客户端或Server方式）时，可以在命令行添加-hiveconf param=value来设定参数，例如：

bin/hive -hiveconf hive.root.logger=INFO,console

这一设定对本次启动的Session（对于Server方式启动，则是所有请求的Sessions）有效。
参数声明：可以在HQL中使用SET关键字设定参数，例如：

set mapred.reduce.tasks=100

这一设定的作用域也是session级的

上述三种设定方式的优先级依次递增。即参数声明覆盖命令行参数，命令行参数覆盖配置文件设定。注意某些系统级的参数，例如log4j相关的设定，必须用前两种方式设定，因为那些参数的读取在Session建立以前已经完成了。
参数声明 > 命令行参数 > 配置文件参数（hive）

Hive 函数

内置函数
内容较多，见《Hive官方文档》

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

查看系统自带的函数

hive> show functions;

显示自带的函数的用法

hive> desc function upper;

详细显示自带的函数的用法

hive> desc function extended upper;

常用内置函数

#字符串连接函数： concat
 select concat('abc','def’,'gh');
#带分隔符字符串连接函数： concat_ws
    select concat_ws(',','abc','def','gh');
#cast类型转换
    select cast(1.5 as int);
#get_json_object(json 解析函数，用来处理json，必须是json格式)
    select get_json_object('{"name":"jack","age":"20"}','$.name');
#URL解析函数
    select parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1',
'HOST');
#explode：把map集合中每个键值对或数组中的每个元素都单独生成一行的形式

自定义函数

Hive 自带了一些函数，比如：max/min等，当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数(UDF).

根据用户自定义函数类别分为以下三种：

UDF（User-Defined-Function）
一进一出
UDAF（User-Defined Aggregation Function）
聚集函数，多进一出
类似于： count / max / min
UDTF（User-Defined Table-Generating Functions）
一进多出
如 lateral view explore()

编程步骤：

继承org.apache.hadoop.hive.ql.UDF
需要实现evaluate函数；evaluate函数支持重载；

注意事项

UDF必须要有返回类型，可以返回null，但是返回类型不能为void；
UDF中常用Text/LongWritable等类型，不推荐使用java类型；

坐标:

<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
 <dependency>
 <groupId>org.apache.hive</groupId>
 <artifactId>hive-exec</artifactId>
 <version>2.7.5</version>
 </dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoopcommon -->
 <dependency>
 <groupId>org.apache.hadoop</groupId>
 <artifactId>hadoop-common</artifactId>
 <version>2.7.5</version>
 </dependency>
</dependencies>
<build>
 <plugins>
 <plugin>
 <groupId>org.apache.maven.plugins</groupId>
 <artifactId>maven-compiler-plugin</artifactId>
 <version>3.0</version>
 <configuration>
 <source>1.8</source>
 <target>1.8</target>
 <encoding>UTF-8</encoding>
 </configuration>
 </plugin>
 </plugins>
</build>

开发 Java 类集成 UDF

public class MyUDF extends UDF{
 public Text evaluate(final Text str){
 String tmp_str = str.toString();
 if(str != null && !tmp_str.equals("")){
 String str_ret = tmp_str.substring(0, 1).toUpperCase() + tmp_str.substring(1);
 return new Text(str_ret);
 }
 return new Text("");
 }
}

项目打包，并上传到hive的lib目录下

添加jar包

重命名我们的jar包名称

cd /export/servers/apache-hive-2.7.5-bin/lib
mv original-day_10_hive_udf-1.0-SNAPSHOT.jar my_upper.jar

hive的客户端添加我们的jar包 (一次回话有用)

add jar /export/servers/apache-hive-2.7.5-bin/lib/my_upper.jar;

设置函数与我们的自定义函数关联

create temporary function my_upper as 'cn.itcast.udf.ItcastUDF';

使用自定义函数

select my_upper('abc');

hive的数据压缩

在实际工作当中，hive当中处理的数据，一般都需要经过压缩

为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器

压缩格式	对应的编码/解码器
DEFLATE	org.apache.hadoop.io.compress.DefaultCodec
gzip	org.apache.hadoop.io.compress.GzipCodec
bzip2	org.apache.hadoop.io.compress.BZip2Codec
LZO	com.hadoop.compression.lzo.LzopCodec
LZ4	org.apache.hadoop.io.compress.Lz4Codec
Snappy	org.apache.hadoop.io.compress.SnappyCodec

要在Hadoop中启用压缩，可以配置如下参数（mapred-site.xml文件中）：

参数	默认值	阶段	建议
io.compression.codecs （在core-site.xml中配置）	org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.Lz4Codec	输入压缩	Hadoop使用文件扩展名判断是否支持某种编解码器
mapreduce.map.output.compress	false	mapper 输出	这个参数设为true启用压缩
mapreduce.map.output.compress.codec	org.apache.hadoop.io.compress.DefaultCodec	mapper 输出	使用LZO、 LZ4或snappy 编解码器在此阶段压缩数据
mapreduce.output.fileoutputformat.compress	false	reducer 输出	这个参数设为true启用压缩
mapreduce.output.fileoutputformat.compress.codec	org.apache.hadoop.io.compress. DefaultCodec	reducer 输出	使用标准工具或者编解码器，如 gzip和bzip2
mapreduce.output.fileoutputformat.compress.type	RECORD	reducer 输出	SequenceFile 输出使用的压缩类型： NONE和 BLOCK

开启Map输出阶段压缩

开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。

开启hive中间传输数据压缩功能

set hive.exec.compress.intermediate=true;

开启mapreduce中map输出压缩功能

set mapreduce.map.output.compress=true;

设置mapreduce中map输出数据的压缩方式

set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;

执行查询语句

select count(1) from score;

开启Reduce输出阶段压缩

当Hive将输出写入到表中时，输出内容同样可以进行压缩。

开启hive最终输出数据压缩功能

set hive.exec.compress.output=true;

开启mapreduce最终输出数据压缩

set mapreduce.output.fileoutputformat.compress=true;

设置mapreduce最终数据输出压缩方式

set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

设置mapreduce最终数据输出压缩为块压缩

set mapreduce.output.fileoutputformat.compress.type=BLOCK;

测试一下输出结果是否是压缩文件

insert overwrite local directory '/export/servers/snappy' select * from score distribute by s_id sort by s_id desc;
````
----
## hive的数据存储格式
Hive支持的存储数的格式主要有：
TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、
ORC（列式存储）、PARQUET（列式存储）
![1566046619234](index_files/1566046619234.png)
行存储的特点 :
查询的速度快
列存储的特点 :
查询的速度慢
常用数据存储格式 :
`TEXTFILE格式 `
默认格式，数据不做压缩，磁盘开销大，数据解析开销大。
`PARQUET格式 `
Parquet是面向分析型业务的列式存储格式 ,以二进制方式存储
`ORC格式 `
可以看到每个Orc文件由1个或多个stripe组成，每个stripe250MB大小，每个Stripe里有三部分
组成，分别是Index Data,Row Data,Stripe Footer：
- indexData：某些列的索引数据
- rowData :真正的数据存储
- StripFooter：stripe的元数据信息
---
## 文件存储格式与数据压缩结合 (存文件加速和传输文件加速)
### 压缩比和查询速度对比
`ORC `建议使用
创建表，存储数据格式为ORC 
```mysql
create table log_orc(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS orc ;

向表中加载数据

insert into table log_orc select * from log_text ;

查看表中数据大小

dfs -du -h /user/hive/warehouse/myhive.db/log_orc;

存储文件的压缩比总结：

ORC > Parquet > textFile

存储文件的查询速度测试：

存储文件的查询速度总结：
ORC > TextFile > Parquet

ORC存储指定压缩方式

网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC

ORC存储方式的压缩：

Key	Default	Notes
orc.compress	ZLIB	high level compression (one of NONE, ZLIB, SNAPPY)
orc.compress.size	262,144	number of bytes in each compression chunk
orc.stripe.size	67,108,864	number of bytes in each stripe
orc.row.index.stride	10,000	number of rows between index entries (must be >= 1000)
orc.create.index	true	whether to create row indexes
orc.bloom.filter.columns	""	comma separated list of column names for which bloom filter should be created
orc.bloom.filter.fpp	0.05	false positive probability for bloom filter (must >0.0 and <1.0)

创建一个SNAPPY压缩的ORC存储方式建议使用

建表语句

create table log_orc_snappy(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS orc tblproperties ("orc.compress"="SNAPPY");

插入数据

insert into table log_orc_snappy select * from log_text ;

查看插入后数据

dfs -du -h /user/hive/warehouse/myhive.db/log_orc_snappy ;

存储方式和压缩总结

在实际的项目开发当中，hive表的数据存储格式一般选择：orc或parquet。压缩方式一般选择snappy .

hive调优

Fetch抓取

Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM score;在这种情况下，Hive可以简单地读取score对应的存储目录下的文件，然后输出查询结果到控制台。
通过设置hive.fetch.task.conversion参数,可以控制查询语句是否走MapReduce.
案例实操：
1）把hive.fetch.task.conversion设置成none，然后执行查询语句，都会执行mapreduce程序。

set hive.fetch.task.conversion=none;
select * from score;
select s_score from score;
select s_score from score limit 3;

2）把hive.fetch.task.conversion设置成more，然后执行查询语句，如下查询方式都不会执行
mapreduce程序

set hive.fetch.task.conversion=more;
select * from score;
select s_score from score;
select s_score from score limit 3;

本地模式

大多数的Hadoop Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时
Hive的输入数据量是非常小的。在这种情况下，为查询触发执行任务时消耗可能会比实际job
的执行时间要多的多。对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有
的任务。对于小数据集，执行时间可以明显被缩短。
用户可以通过设置hive.exec.mode.local.auto的值为true，来让Hive在适当的时候自动启动这个
优化。
案例实操：
1）开启本地模式，并执行查询语句

set hive.exec.mode.local.auto=true;
select * from score cluster by s_id;

2）关闭本地模式，并执行查询语句

set hive.exec.mode.local.auto=false;
select * from score cluster by s_id;

MapJoin

如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会在Reduce阶段完成join,容
易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join，避免reducer处
理。
1）开启MapJoin参数设置：
（1）设置自动选择Mapjoin

set hive.auto.convert.join = true;

（2）大表小表的阈值设置（默认25M以下认为是小表）：

set hive.mapjoin.smalltable.filesize=25123456;

Group By

默认情况下，Map阶段同一Key数据分发给一个reduce，当一个key数据过大时就倾斜了。并不是所有的聚合操作都需要在Reduce端完成，很多聚合操作都可以先在Map端进行部分聚合，最后在Reduce端得出最终结果。

Count(distinct)

开启动态分区参数设置 (重要)

1）开启动态分区功能（默认true，开启）

set hive.exec.dynamic.partition=true;

（2）设置为非严格模式（动态分区的模式，默认strict，表示必须指定至少一个分区为静态分区，nonstrict模式表示允许所有的分区字段都可以使用动态分区。）

set hive.exec.dynamic.partition.mode=nonstrict;

（3）在所有执行MR的节点上，最大一共可以创建多少个动态分区

set hive.exec.max.dynamic.partitions=1000;

（4）在每个执行MR的节点上，最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。

set hive.exec.max.dynamic.partitions.pernode=100

（5）整个MR Job中，最大可以创建多少个HDFS文件。在linux系统当中，每个linux用户最多可以开启1024个进程，每一个进程最多可以打开2048个文件，即持有2048个文件句柄，下面这个值越大，就可以打开文件句柄越大

set hive.exec.max.created.files=100000;

(6）当有空分区生成时，是否抛出异常。一般不需要设置

set hive.error.on.empty.partition=false;

案例

需求：将ori中的数据按照时间(如：20111231234568)，插入到目标表ori_partitioned的相应分区中

1）准备数据原表

create table ori_partitioned(id bigint, time bigint, uid string, keyword string, url_rank int, click_num int, click_url string)
PARTITIONED BY (p_time bigint)
row format delimited fields terminated by '\t';
load data local inpath '/export/servers/hivedatas/small_data' into table
ori_partitioned partition (p_time='20111230000010');
load data local inpath '/export/servers/hivedatas/small_data' into table
ori_partitioned partition (p_time='20111230000011');

（2）创建目标分区表

create table ori_partitioned_target(id bigint, time bigint, uid string, keyword string, url_rank int, click_num int, click_url string) PARTITIONED BY (p_time STRING) row format delimited fields terminated by '\t'

3）向目标分区表加载数据

如果按照之前介绍的往指定一个分区中Insert数据，那么这个需求很不容易实现。这时候就需要使用动态分区来实现

INSERT overwrite TABLE ori_partitioned_target PARTITION (p_time) SELECT id, time, uid, keyword, url_rank, click_num, click_url, p_time FROM ori_partitioned;

注意：在SELECT子句的最后几个字段，必须对应前面PARTITION (p_time)中指定的分区字段，包括顺序。

(4)查看分区

show partitions ori_partitioned_target;

并行执行

严格模式

JVM重用

JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。

posted @ 2019-08-20 15:30 不穿格子衫的徍爺阅读(301) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

不穿格子衫的徍爺

Hadoop-(Hive)

Hadoop-(Hive)

介绍

特点

数据库与数据仓库的区别

数仓的分层架构

为什么要对数据仓库分层？

数仓的元数据管理

Hive的介绍和优点

Hive和Hadoop的关系

Hive 的基本操作-库

表操作

内部表和外部表的说明

内部表

外部表说明

内部表和外部表的使用场景

分桶表操作(分文件)

修改表结构

查询操作

排序

Hive命令行

Hive参数配置方式

Hive 函数

自定义函数

hive的数据压缩

开启Map输出阶段压缩

开启Reduce输出阶段压缩

存储文件的查询速度测试：

ORC存储指定压缩方式

存储方式和压缩总结

hive调优

Fetch抓取

本地模式

MapJoin

Group By

Count(distinct)

开启动态分区参数设置 (重要)

并行执行

严格模式

JVM重用

公告