摘要：
环境： centos7 es 5.4.3 es安装 一.下载 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.zip 解压。 二.配置 cd config vi elasticsearch.y 阅读全文
摘要：
map 结果： 67891012345 (6,1)(7,1)(8,1)(9,1)(10,1)(1,1)(2,1)(3,1)(4,1)(5,1) filter 通过自定义函数对元素进行过滤 结果： 67891012345 78910 filtMap 通过自定义函数把RDD中的每一个元素映射成多个元素， 阅读全文
摘要：
一初始化 在SparkContext初始化的时候，同时初始化三个对象。DAGScheduler，TaskScheduler，SchedulerBackend。DAGScheduler，前面已经讲到，做stage的划分及每个stage对应的task划分及任务提交，SchedulerBackend用于资 阅读全文
摘要：
由一个action动作触发sparkcontext的runjob,再由此触发dagScheduler.runJob,然后触发submitJob，封装一个JobSubmitted放入一个队列。然后再通过doOnReceive里面的dagScheduler.handleJobSubmitted提交。 1 阅读全文
摘要：
前面一篇讲到了，DAG静态模板的生成。那么spark streaming会在每一个batch时间一到，就会根据DAG所形成的逻辑以及物理依赖链(dependencies)动态生成RDD以及由这些RDD组成的job,并形成一个job集合提交到集群当中执行。那么下面我们具体分析这三个步骤。 首先从Job 阅读全文
摘要：
前面讲到，无论是关系型数据库还是非关系型数据库，乃至elasticsearch这种事实上承担着一定储存作用的搜索引擎，数据类型都是非常重要而基础的概念。但elasticsearch与其它承担着数据存储的技术有着比较大的区别之一就是映射，和倒排索引。 映射是定义如何存储和编制文档及其包含的字段的过程。 阅读全文
摘要：
无论是关系型数据库还是非关系型数据库，乃至elasticsearch这种事实上承担着一定储存作用的搜索引擎，数据类型都是非常重要而基础的概念。本文基于elasticsearch 5.x版本。 核心数据类型(Core datatypes) string text:全文检索需要分词的类型。 keywor 阅读全文
摘要：
spring boot与elasticsearch集成有两种方式。一种是直接使用elasticsearch。一种是使用data中间件。 本文只指针使用maven集成elasticsearch 5.x,以及使用spring-boot-starter-data-elasticsearch中间件的情况。不 阅读全文
摘要：
高阶函数 高阶函数就是将函数作为参数或者返回值的函数。 在spark中，经常将只需要执行一次的函数定义为匿名函数作为参数传递给高阶函数。如map,flatMap。 以map为例，最全面的写法是 匿名函数的写法 利用匿名函数的参数推断，可以进一步简化的写法 如果只有一个参数 可以使用_代替参数 偏应用 阅读全文
摘要：
判断结构 大体与java相当。scala没有三元表达式。 选择结构 match。与java的stiwch相当。但scala的match强大很多。 通配符匹配（Wildcard Pattern Matching ） 常量匹配 （Constant Pattern Matching ） 变量匹配（Vari 阅读全文