Hive理论知识
1、什么是Hive?
Hive是基于Hadoop的一个数据仓库工具,它提供了类似SQL的查询语言来进行大规模的数据分析和处理。Hive将结构化的数据映射到Hadoop分布式文件系统(HDFS)上,并通过MapReduce任务执行查询操作。
2、数据模型有哪些?
星形模式(Star Schema):星型模式是以事实表为中心,所有的维度表直接连接在事实表上。
雪花模式(Snowflake Schema):是对星形模式的扩展。雪花模式的维度表可以拥有其他维度表的,虽然这种模型相比星型更规范一些,但是由于这种模型不太容易理解,维护成本比较高,而且性能方面需要关联多层维表,性能比星型模型要低。
星座模式:是星型模式延伸而来,星型模式是基于一张事实表的,而星座模式是基于多张事实表的,而且共享维度信息。
备注:前面两种维度建模方法都是多维表对应单事实表,但在很多时候维度空间内的事实表不止一个,而一个维表也可能被多个事实表用到。在业务发展后期,绝大部分维度建模都采用的是星座模式。
3、Hive数据倾斜问题?
(1)空值引发的数据倾斜
第一种:直接不让null值参与join操作,即不让null值有shuffle阶段。
第二种:因为null值参与shuffle时的hash结果是一样的,那么我们可以给null值随机赋值,这样它们的hash结果就不一样,就会进到不同的reduce中。
(2)不同数据类型引发的数据倾斜
如果key字段既有string类型也有int类型,默认的hash就都会按int类型来分配,那我们直接把int类型都转为string就好了,这样key字段都为string,hash时就按照string类型分配了。
(3)不可拆分大文件引发的数据倾斜
这种数据倾斜问题没有什么好的解决方案,只能将使用GZIP压缩等不支持文件分割的文件转为bzip和zip等支持文件分割的压缩方式。
所以,我们在对文件进行压缩时,为避免因不可拆分大文件而引发数据读取的倾斜,在数据压缩的时候可以采用bzip2和Zip等支持文件分割的压缩算法。
(4)数据膨胀引发的数据倾斜
在Hive中可以通过参数 hive.new.job.grouping.set.cardinality 配置的方式自动控制作业的拆解,该参数默认值是30。表示针对grouping sets/rollups/cubes这类多维聚合的操作,如果最后拆解的键组合大于该值,会启用新的任务去处理大于该值之外的组合。如果在处理数据时,某个分组聚合的列有较大的倾斜,可以适当调小该值。
(5)表连接时引发的数据倾斜
通常做法是将倾斜的数据存到分布式缓存中,分发到各个Map任务所在节点。在Map阶段完成join操作,即MapJoin,这避免了 Shuffle,从而避免了数据倾斜。
(6)无法减少数据量引发的数据倾斜
这类问题最直接的方式就是调整reduce所执行的内存大小。调整reduce的内存大小使用mapreduce.reduce.memory.mb这个配置。
4、Hive中 Sort By,Order By,Cluster By,Distrbute By的区别?
Order by:会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序)。只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。
Sort by:每个mapreduce中进行排序,一般和distribute by使用,且distribute by写在sort by前面。当mapred.reduce.tasks=1时,效果和order by一样。
Distribute by:类似MR的Partition,对key进行分区,结合sort by实现分区排序。
Cluster by:当distribute by和sort by的字段相同时,可以使用cluster by代替,但cluster by只能是升序,不能指定排序规则。
备注:在生产环境中order by使用的少,容易造成内存溢出(OOM)。生产环境中distribute by和sort by用的多。
5、UDF/UDAF/UDTF的区别?
UDF(返回对应值,一对一):操作作用于单个数据行,并且产生一个数据行作为输出;大多数函数都属于这一类,比如数学函数、字符串函数。
UDAF(返回聚合值,多对一):接受多个输入数据行,并产生一个输出数据行。像count、max这样的函数就是聚集函数。
UDTF(返回拆分值,一对多):操作作用域多个数据行,并且产生多个数据行。比如:lateral view explore()。
6、Hive小文件过多怎么解决?
(1)使用 hive 自带的 concatenate 命令,自动合并小文件
(2)调整参数减少Map数量
(3)减少Reduce的数量
(4)使用hadoop的archive将小文件归档
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步