摘要：
Hive视图特点 View是逻辑存在，Hive暂不支持物化视图(1.0.3) View只读，不支持LOAD/INSERT/ALTER。需要改变View定义，可以是用Alter View View内可能包含ORDER BY/LIMIT语句，假如一个针对view的查询也包含这些语句， 则view中的语句 阅读全文
posted @ 2019-12-14 14:52
玩转大数据
阅读(10766)
评论(0)
推荐(1)
摘要：
Hive内外部区分方法 查看hive元数据：进入mysql中hive元数据库，查看TBLS表，查看对应的表名和表类型； 在hive-cli界面：desc extended tablename，查看TableType，一般在展示结果的最后显示； 在hive-cli界面：desc formatted t 阅读全文
posted @ 2019-12-14 14:51
玩转大数据
阅读(1434)
评论(0)
推荐(0)
摘要：
Hive中的文件格式 1-TEXTFILE 文本格式，Hive的默认格式，数据不压缩，磁盘开销大、数据解析开销大。 对应的hive API为：org.apache.hadoop.mapred.TextInputFormat和org.apache.hive.ql.io.HiveIgnoreKeyTex 阅读全文
posted @ 2019-12-14 14:50
玩转大数据
阅读(5171)
评论(0)
推荐(0)
摘要：
Hive的数据模型 Hive数据模型.png 数据模型组成及应用场景 Hive的数据模型主要有：database、table、partition、bucket四部分； 数据模型之database database：相当于关系型数据库中的命名空间，作用是将数据库应用隔离到不同的数据库模式中，hive提 阅读全文
posted @ 2019-12-14 14:49
玩转大数据
阅读(1677)
评论(0)
推荐(0)
摘要：
什么是Hive Hive是由Facebook开源用于解决海量结构化日志的数据统计；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射 成一张表，并提供类SQL查询功能，底层计算引擎默认为Hadoop的MapReduce（本质是将sql转化成mapreduce程序），可以将引擎更 阅读全文
posted @ 2019-12-14 14:47
玩转大数据
阅读(561)
评论(0)
推荐(0)
摘要：
从使用方面讲 Hive是一个构建在Hadoop平台上的数据仓库，可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化成Map/Reduce。 HBase 是基于HDFS平台的Key/Value类型的NoSql 阅读全文
posted @ 2019-12-14 14:45
玩转大数据
阅读(1036)
评论(0)
推荐(0)
摘要：
Hive与HBase的区别Hive架构原理Hive的数据模型及各模块的应用场景Hive支持的文件格式和压缩格式及各自特点Hive内外表的区分方法及内外部差异Hive视图如何创建、特点及应用场景Hive常用命令及作用Hive常用的10个系统函数及作用简述UDF/UDAF/UDTF是什么，各自解决问题及 阅读全文
posted @ 2019-12-14 14:44
玩转大数据
阅读(350)
评论(0)
推荐(0)
摘要：
1. Hive数据倾斜原因： key分布不均匀 业务数据本身的特性 SQL语句造成数据倾斜解决方法hive设置hive.map.aggr=true和hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个M 阅读全文
posted @ 2019-12-14 13:12
玩转大数据
阅读(935)
评论(0)
推荐(0)
浙公网安备 33010602011771号