hdc520

摘要：恢复内容开始 1.主要功能：SparkConf是Spark的配置类，配置spark的application的应用程序，使用(key,value)来进行存储配置信息。 2.主要形式：val conf=new SparkConf()，读取任何spark.*的配置，包括开发人员所设置的配置，因为Spark 阅读全文

摘要：Hive去重统计 相信使用Hive的人平时会经常用到去重统计之类的吧，但是好像平时很少关注这个去重的性能问题，但是当一个表的数据量非常大的时候，会发现一个简单的count(distinct order_no)这种语句跑的特别慢，和直接运行count(order_no)的时间差了很多，于是研究了一下。 阅读全文

摘要：（1）内外函数 如果在一个函数的内部定义了另一个函数，外部的我们叫他外函数，内部的我们叫他内函数。 （2）闭包定义 在一个外函数中定义了一个内函数，内函数里运用了外函数的临时变量，并且外函数的返回值是内函数的引用。这样就构成了一个闭包。 一般情况下，在我们认知当中，如果一个函数结束，函数的内部所有东 阅读全文