2019年11月21日
Hive_UDF函数
摘要： UDF是User defined Function的简写，意思是用户自定义方法。 UDF开发流程 1 eclipse开发一个java程序,导入hive的jar包 2 开发代码 3 将java程序打成jar包，上传到hive所在的机器上， 注意开发代码的环境和运行环境的jdk版本要一致，不然会报错Un 阅读全文
posted @ 2019-11-21 20:49 Lucas_zhao 阅读(347) 评论(0) 推荐(0) 编辑
如何查找和分析MapReduce的log日志
摘要： 在Hive客户端执行HQL查询报错，该查询走的是MapReduce，此时需要查看MapReduce的日志信息。 那么MR的日志在哪里呢? 首先启动historyserver，认情况下HistoryServer没有启动 进入到hadoop的bin目录下，执行以下命令，开启之后,jps一下确认有JobH 阅读全文
posted @ 2019-11-21 20:33 Lucas_zhao 阅读(3681) 评论(0) 推荐(0) 编辑
Hive练习题1-累计报表
摘要： 如下测试数据 A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 C,2015-01,10 C,2015-01,20 A,2015-02,4 A,2015-02,6 C,2015-02,30 C,2015 阅读全文
posted @ 2019-11-21 14:08 Lucas_zhao 阅读(454) 评论(0) 推荐(0) 编辑
2019年11月20日
# Hive基础问题
摘要： 1.Hive的主要作用是什么？ 1.Hive是基于hadoop的数据仓库工具，可以将结构化的数据文件映射成一张数据表，并且提供sql查询。相当于mapreduce的客户端。 2.启动Hive的方式有哪些？ bin/hive bin/hiveserver2 3.请谈一下Hive的特点是什么？Hive和 阅读全文
posted @ 2019-11-20 23:31 Lucas_zhao 阅读(346) 评论(0) 推荐(0) 编辑
hive复杂数据类型struct
摘要： hive数据类型struct,结构体，类似类里面的很多属性 假如有以下数据： 1,zhangsan,18:male:深圳 2,lisi,28:female:北京 3,wangwu,38:male:广州 4,赵六,26:female:上海 5,钱琪,35:male:杭州 6,王八,48:female: 阅读全文
posted @ 2019-11-20 23:21 Lucas_zhao 阅读(7349) 评论(0) 推荐(0) 编辑
hive复合数据类型map
摘要： 复合数据类型map 数据如下 1,zhangsan,father:xiaoming#mother:xiaohuang#brother:xiaoxu,28 2,lisi,father:mayun#mother:huangyi#brother:guanyu,22 3,wangwu,father:wang 阅读全文
posted @ 2019-11-20 23:19 Lucas_zhao 阅读(2072) 评论(0) 推荐(0) 编辑
hive复合数据类型array
摘要： 数据类型array<string> 有如下数据：字段分别是movie_name, actors集合，show，字段分别以‘，’分割，第二个字段有三个元素，元素之间以：分割，因此把第二个字段设置为array<string>。 战狼2,吴京:吴刚:龙母,2017-08-16 三生三世十里桃花,刘亦菲:痒 阅读全文
posted @ 2019-11-20 23:17 Lucas_zhao 阅读(5192) 评论(0) 推荐(1) 编辑
Hive日期函数
摘要： 字符转为时间，转换为日期的时间部分 select to_date('2019-11-20'); 查看当前时间的unix时间戳 select unix_timestamp(); 1574260385 unix时间转换为当前时区的时间，格式"yyyy-MM-dd HH:mm:ss"，注意月份MM一定要大 阅读全文
posted @ 2019-11-20 23:02 Lucas_zhao 阅读(368) 评论(0) 推荐(0) 编辑
Hive分桶bucket
摘要： 数据分桶的原理: 按照分桶字段的hash值去模除以分桶的个数 对于每一个表（table）或者分区， Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。把表（或者分区） 阅读全文
posted @ 2019-11-20 19:33 Lucas_zhao 阅读(413) 评论(0) 推荐(0) 编辑
Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
摘要： 在Hive命令行执行查询时，出现错误 Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-787476470-192.168.152.10-15733 阅读全文
posted @ 2019-11-20 15:55 Lucas_zhao 阅读(7619) 评论(0) 推荐(0) 编辑