摘要: 1.由于公司性质,需要编写一个对字段加密解密的函数。 建立一个maven项目,导入jar包,跟环境的版本保持一致即可。 然后继承UDF即可 evaluate方法的输入输出即是UDF函数的输入输出Description注解部分提供函数的帮助信息. 2.创建永久函数 打成jar包(idea的打包即可)上 阅读全文
posted @ 2017-12-05 15:18 ChouYarn 阅读(693) 评论(0) 推荐(0) 编辑
摘要: 1.建立HBase预分区表。sql语句如下: 或者 分区文件格式如下: 00|10|20|30|40|50|60|70| 优点:合理设计rowkey 能让各个region 的并发请求 平均分配(趋于均匀) 使IO 效率达到最高 2.如果在建表之后没有设置压缩而数据量又很大怎么办。 ①disable 阅读全文
posted @ 2017-12-05 14:50 ChouYarn 阅读(1319) 评论(0) 推荐(0) 编辑
摘要: 1.Hive内部表,语句如下 建好表之后,进入hbase shell执行list能看到表s01_buyer_calllogs_info_ts,hive drop掉此表时,hbase也被drop。 2.Hive外部表,语句如下, 从方式需要先在hbase建好表,然后在hive中建表,hive drop 阅读全文
posted @ 2017-12-05 14:34 ChouYarn 阅读(21363) 评论(1) 推荐(3) 编辑