摘要: SparkSession: SparkSession实质上是SQLContext和HiveContext的组合(未来可能还会加上StreamingContext),所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的。 SparkSession 阅读全文
posted @ 2020-03-27 16:31 再见傅里叶 阅读(1768) 评论(0) 推荐(0) 编辑
摘要: 高阶函数在数据分析中使用到的频率是很高的,可能你辛苦一天写的函数代码,一个高阶函数轻松搞定。首先高阶函数肯定是函数,不同的是输入的参数和返回的值这两项中的一项必须是函数才能叫高阶函数。这个问题在回答的时候可以稍微拓展一下,介绍一下常用的的高阶函数,比如:map、flatMap、filter、redu 阅读全文
posted @ 2020-03-27 15:24 再见傅里叶 阅读(1099) 评论(0) 推荐(0) 编辑
摘要: Option类型表示一个值的存在与否,一般在程序中需要返回一个空对象的时候,使用Option类型,如果返回null,程序会引起异常,而Option就不会。使用Option减少触发NullPointerException异常的可能性。 阅读全文
posted @ 2020-03-27 15:16 再见傅里叶 阅读(688) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/u014209205/article/details/83051001 MySQL常见的两种存储引擎:MyISAM与InnoDB Mysql索引使用的数据结构主要有BTree索引 和 哈希索引 。对于哈希索引来说,底层的数据结构就是哈希表,因此在绝大多数需 阅读全文
posted @ 2020-03-27 09:27 再见傅里叶 阅读(223) 评论(0) 推荐(0) 编辑