10 2019 档案
摘要：COALESCE (expression_1, expression_2, ...,expression_n)依次参考各参数表达式，遇到非null值即停止并返回该值。如果所有的表达式都是空值，最终将返回一个空值。 如果需要对某列为空时赋予默认值，常使用COALESCE(a,10) a为列名，10为默
阅读全文
摘要：今天遇到一个现场问题，任务报错java.io.InvalidClassException。在开发环境是没有报错的，正式环境报错。大概类似于下面这样（非报错原文，摘自网上同类博客） java.io.InvalidClassException: com.test.Test; local class in
阅读全文
摘要：本篇主要是记录自己在中解决RDD编程性能问题中查阅的论文博客，为我认为写的不错的建立索引方便查阅，我的总结会另立他篇 1）通过分区（Partitioning）提高spark性能https://blog.csdn.net/qq_32649581/article/details/83029852 2)D
阅读全文
摘要：hivesql中max，min函数不能作用于多列，因此在有上下门限区间限制时多用公式直接计算。 max(x,y)=(x+y+ABS(x-y))/2 min(x,y)=(x+y-ABS(x-y))/2 若x<a<y x,y为上下门限，a<x则取x,a>y则取y，否则取a min(max(a,x),y)
阅读全文
