08 2017 档案
摘要：前面讲到，无论是关系型数据库还是非关系型数据库，乃至elasticsearch这种事实上承担着一定储存作用的搜索引擎，数据类型都是非常重要而基础的概念。但elasticsearch与其它承担着数据存储的技术有着比较大的区别之一就是映射，和倒排索引。 映射是定义如何存储和编制文档及其包含的字段的过程。
阅读全文
摘要：无论是关系型数据库还是非关系型数据库，乃至elasticsearch这种事实上承担着一定储存作用的搜索引擎，数据类型都是非常重要而基础的概念。本文基于elasticsearch 5.x版本。 核心数据类型(Core datatypes) string text:全文检索需要分词的类型。 keywor
阅读全文
摘要：spring boot与elasticsearch集成有两种方式。一种是直接使用elasticsearch。一种是使用data中间件。 本文只指针使用maven集成elasticsearch 5.x,以及使用spring-boot-starter-data-elasticsearch中间件的情况。不
阅读全文
摘要：高阶函数 高阶函数就是将函数作为参数或者返回值的函数。 在spark中，经常将只需要执行一次的函数定义为匿名函数作为参数传递给高阶函数。如map,flatMap。 以map为例，最全面的写法是 匿名函数的写法 利用匿名函数的参数推断，可以进一步简化的写法 如果只有一个参数 可以使用_代替参数 偏应用
阅读全文
摘要：判断结构 大体与java相当。scala没有三元表达式。 选择结构 match。与java的stiwch相当。但scala的match强大很多。 通配符匹配（Wildcard Pattern Matching ） 常量匹配 （Constant Pattern Matching ） 变量匹配（Vari
阅读全文
摘要：类 scala的类定义非常灵活 定义一个带构造函数的类 通过this来重写构造函数 除了重写构造函数，还可以当作当前对象的引用。 等价于 继承 scala属于单继承。跟java一样，scala使用extends关键字来继承父类，使用override重写父类方法。scala的方法的重载与重写遵循jav
阅读全文
摘要：写在前面 面向java开发者。实际上，具有java基础学习scala是很容易。java也可以开发spark,并不比scala开发的spark程序慢。但学习scala可有助于更快更好的理解spark。比如spark的很多算子group,filter之类的，全都是scala语言本身所具备的功能。再比如，
阅读全文
摘要：前言 传统的RDD相对于mapreduce和storm提供了丰富强大的算子。在spark慢慢步入DataFrame到DataSet的今天，在算子的类型基本不变的情况下，这两个数据集提供了更为强大的的功能。但也有些功能暂时无法使用。比如reduceByKey,在DataFrame和DataSet里是没
阅读全文
