摘要:
https://blog.csdn.net/dkbnull/article/details/87219562 阅读全文
摘要:
https://blog.csdn.net/w4hechuan2009/article/details/76601895 加密算法分对称加密和非对称算法,其中对称加密算法的加密与解密密钥相同,非对称加密算法的加密密钥与解密密钥不同,此外,还有一类不需要密钥的散列算法。 常见的对称加密算法主要有DES 阅读全文
摘要:
https://www.jianshu.com/p/7c63f3a1de7d 阅读全文
摘要:
个人理解:watermark是全局机制针对所有的key,如果要解决同一个key的乱序迟到问题就需要用到Allowed Lateness机制。 因为一般都是按照某个key分组,需要的也是解决同一个key的乱序迟到问题。 https://blog.csdn.net/yangxiaobo118/artic 阅读全文
摘要:
https://www.jianshu.com/p/ee0de4c99f87 阅读全文
摘要:
总说:笼统地看,这四个在hive中都有排序和聚集的作用,然而,它们在执行时所启动的MR却各不相同。 细讲:order by: order by会对所给的全部数据进行全局排序,并且只会“叫醒”一个reducer干活。它就像一个糊涂蛋一样,不管来多少数据,都只启动一个reducer来处理。因此,数据量小 阅读全文
摘要:
理论知识介绍:(个人理解使用广播变量是优化项之一) https://blog.csdn.net/Android_xue/article/details/79780463/ 一、为什么要使用共享变量 Spark中因为算子中的真正逻辑是发送到Executor中去运行的,所以当Executor中需要引用外 阅读全文