2019年5月17日
SumUDAFDemo
摘要： package com.XX.udf; import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.parse.SemanticExceptio... 阅读全文
posted @ 2019-05-17 09:53 问题不大1 阅读(431) 评论(0) 推荐(0) 编辑
计算平均数UDAF
摘要： package com.suning.udf; import org.apache.hadoop.hive.ql.exec.UDAF; import org.apache.hadoop.hive.ql.exec.UDAFEvaluator; public class Avg extends UDAF { public static class AvgState { ... 阅读全文
posted @ 2019-05-17 09:52 问题不大1 阅读(265) 评论(0) 推荐(0) 编辑
ArrayProcessUDTF
摘要： package com.suning.udf; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF; public class ArrayProcessUDTF extends GenericUDTF { ... 阅读全文
posted @ 2019-05-17 09:51 问题不大1 阅读(202) 评论(0) 推荐(0) 编辑
AesDecrypt加解密UDF
摘要： package com.XXX.udf; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; import javax.crypto.Cipher; import javax.crypto.KeyGenerator; import javax.crypto.SecretKey; import... 阅读全文
posted @ 2019-05-17 09:48 问题不大1 阅读(2803) 评论(0) 推荐(0) 编辑
日期处理UDF
摘要： package com.xxx.udf; import org.apache.hadoop.hive.ql.exec.UDF; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.D 阅读全文
posted @ 2019-05-17 09:29 问题不大1 阅读(230) 评论(0) 推荐(0) 编辑
2019年5月9日
数据仓库和范式
摘要： 1.范式定义 2.三种范式介绍 最基础要求，第零范式：无重复数据 第一范式:1NF 属性不可再分 表中购买信息还可以进行拆分，价格字段，数量字段 第二范式：2NF 要求表中的每一列都要与主键相关,（联合主键时，不能只是与主键的某一部分相关） 在第一范式的基础上，属性要完全依赖主键 第三范式：3NF 阅读全文
posted @ 2019-05-09 22:16 问题不大1 阅读(402) 评论(0) 推荐(0) 编辑
拉链表
摘要： 1.数据准备 2.拉链逻辑 3.拉链回滚 阅读全文
posted @ 2019-05-09 20:55 问题不大1 阅读(800) 评论(0) 推荐(0) 编辑
scala高阶函数
摘要： 1.作为值的函数 2.匿名函数 3.带函数参数的函数 4.参数类型推断 5.闭包 6.柯里化 阅读全文
posted @ 2019-05-09 18:57 问题不大1 阅读(318) 评论(0) 推荐(0) 编辑
2019年5月8日
scala特质
摘要： 1.scala中不支持多继承类，但是可以多继承特质 2.当做接口使用的特质 3.带有具体实现的特质 4.带有特质的对象 5.叠加在一起的特质 6.特质中重写抽象方法 7.当做富接口使用的特质 10.特质构造顺序 阅读全文
posted @ 2019-05-08 17:03 问题不大1 阅读(252) 评论(0) 推荐(0) 编辑
scala文件和正则表达式
摘要： 1.读取行 2.读取字符 3.读取词法单元和数字 4.从URL或其他源读取 5.读取二进制文件 6.写入文本文件 7.正则表达式 8.正则表达式组 阅读全文
posted @ 2019-05-08 15:48 问题不大1 阅读(216) 评论(0) 推荐(0) 编辑