摘要: 1、从数据表t1中把那些id值在数据表t2里有匹配的记录全删除掉1 2、从数据表t1里在数据表t2里没有匹配的记录查找出来并删除掉1 3.从两个表中找出相同记录的数据并把两个表中的数据都删除掉1 注意此处的delete t1,t2 from 中的t1,t2不能是别名 阅读全文
posted @ 2019-05-17 14:46 问题不大1 阅读(513) 评论(0) 推荐(0) 编辑
摘要: 1.分层目的 数据能够有秩序地流转,数据的整个生命周期能够清晰明确被设计者和使用者感知到 层次清晰、依赖关系直观 2.分层的优点: 清晰数据结构:每一个数据分层都有它的作用域和职责,在使用表的时候能更方便地定位和理解 减少重复开发:规范数据分层,开发一些通用的中间层数据,能够减少极大的重复计算 统一 阅读全文
posted @ 2019-05-17 11:12 问题不大1 阅读(4375) 评论(0) 推荐(0) 编辑
摘要: package es import java.io.InputStream import java.text.SimpleDateFormat import java.util.{Calendar, Date, Properties} import org.elasticsearch.spark.rdd.EsSpark import org.apache.spark.SparkConf im... 阅读全文
posted @ 2019-05-17 10:09 问题不大1 阅读(250) 评论(0) 推荐(0) 编辑
摘要: package com.XX.udf; import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.parse.SemanticException;... 阅读全文
posted @ 2019-05-17 09:54 问题不大1 阅读(161) 评论(0) 推荐(0) 编辑
摘要: package com.XX.udf; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException; import org.apache.hadoop.hive.ql.metadata.HiveExcep... 阅读全文
posted @ 2019-05-17 09:53 问题不大1 阅读(122) 评论(0) 推荐(0) 编辑
摘要: package com.XX.udf; import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.parse.SemanticExceptio... 阅读全文
posted @ 2019-05-17 09:53 问题不大1 阅读(417) 评论(0) 推荐(0) 编辑
摘要: package com.suning.udf; import org.apache.hadoop.hive.ql.exec.UDAF; import org.apache.hadoop.hive.ql.exec.UDAFEvaluator; public class Avg extends UDAF { public static class AvgState { ... 阅读全文
posted @ 2019-05-17 09:52 问题不大1 阅读(260) 评论(0) 推荐(0) 编辑
摘要: package com.suning.udf; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF; public class ArrayProcessUDTF extends GenericUDTF { ... 阅读全文
posted @ 2019-05-17 09:51 问题不大1 阅读(200) 评论(0) 推荐(0) 编辑
摘要: package com.XXX.udf; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; import javax.crypto.Cipher; import javax.crypto.KeyGenerator; import javax.crypto.SecretKey; import... 阅读全文
posted @ 2019-05-17 09:48 问题不大1 阅读(2774) 评论(0) 推荐(0) 编辑
摘要: package com.xxx.udf; import org.apache.hadoop.hive.ql.exec.UDF; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.D 阅读全文
posted @ 2019-05-17 09:29 问题不大1 阅读(225) 评论(0) 推荐(0) 编辑