2019 年 1月 8 日随笔档案 - uuhh

2019年1月8日

摘要： hive>show functions;查看Hive的内置函数 hive>create temporary function say_hello as 'cn.zhangyu.HelloUdf';创建临时函数 hive>add jar /home/hadoop/udaf_avg.jar hive>c 阅读全文

posted @ 2019-01-08 14:40 uuhh 阅读(170) 评论(0) 推荐(0) 编辑

UDTF

摘要： UDTF：User-Defined Table-Generating Functions，用户定义表生成函数，用来解决输入一行输出多行 UDF只能实现一进一出的操作，单条记录的列进行的计算操作 UDAF实现多进一出的操作，基于表的所有记录进行的计算操作，函数类需要继承UDAF类，计算类Evalua 阅读全文

posted @ 2019-01-08 14:26 uuhh 阅读(3079) 评论(0) 推荐(0) 编辑

hive创建临时函数

摘要： create temporary function say_hello as 'cn.zhangyu.HelloUdf'; 阅读全文

posted @ 2019-01-08 14:07 uuhh 阅读(1314) 评论(0) 推荐(0) 编辑

HCatalog

摘要： HCatalog Hadoop的表存储管理工具,它将Hive Metastore的表格数据公开给其他Hadoop应用程序。使得具有不同数据处理工具（Pig，MapReduce）的用户能够轻松将数据写入网格。它确保用户不必担心数据存储在何处或以何种格式存储. HCatalog像Hive的一个关键组件一阅读全文

posted @ 2019-01-08 13:40 uuhh 阅读(762) 评论(0) 推荐(0) 编辑

hive order by sort by distribute by和sort by一起使用 cluster by

摘要： 1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reduc 阅读全文

posted @ 2019-01-08 10:58 uuhh 阅读(700) 评论(0) 推荐(0) 编辑

org.apache.hadoop.security.AccessControlException Permission denied: user=anonymous, access=WRITE, inode="/":root:supergroup:drwxr-xr-x

摘要： CREATE TABLE pokes (foo INT, bar STRING);Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.q 阅读全文

posted @ 2019-01-08 10:27 uuhh 阅读(1149) 评论(0) 推荐(0) 编辑

hadoop命令

摘要： hadoop dfsadmin -safemode enter | leave | get | wait hive登录： [ ] hiveserver2 [ ] beeline -u jdbc:hive2://localhost:10000 阅读全文

posted @ 2019-01-08 10:19 uuhh 阅读(162) 评论(0) 推荐(0) 编辑

uuhh

公告