摘要: 部分摘自:https://www.cnblogs.com/qingyunzong/p/8899715.html Spark运行模式 Local 多用于本地测试,如在eclipse,idea中写程序测试等。 Standalone Standalone是Spark自带的一个资源调度框架,它支持完全分布式 阅读全文
posted @ 2019-02-22 23:44 kpsmile 阅读(514) 评论(0) 推荐(0) 编辑
摘要: 部分摘自:https://www.cnblogs.com/qingyunzong/p/8886338.html 1.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开 阅读全文
posted @ 2019-02-22 21:55 kpsmile 阅读(257) 评论(0) 推荐(0) 编辑
摘要: 1概念理解 Actor Model是用来编写并行计算或分布式系统的高层次抽象(类似java中的Thread)让程序员不必为多线程模式下共享锁而烦恼,被用在Erlang 语言上, 高可用性99.9999999 % 一年只有31ms 宕机Actors将状态和行为封装在一个轻量的进程/线程中,但是不和其他 阅读全文
posted @ 2019-02-14 15:31 kpsmile 阅读(253) 评论(0) 推荐(0) 编辑
摘要: 1.Actor Model 1.1概念理解 Scala Trait(特征) 相当于 Java 的接口,实际上它比接口还功能强大。 与接口不同的是,它还可以定义属性和方法的实现。 一般情况下Scala的类可以继承多个Trait,从结果来看就是实现了多重继承,当继承多个trait时,第一个用extend 阅读全文
posted @ 2019-02-14 15:13 kpsmile 阅读(413) 评论(0) 推荐(0) 编辑
摘要: 1字符串 1.1String 1.2StringBuilder 可变 1.3string操作方法举例 比较:equals 比较忽略大小写:equalsIgnoreCase indexOf:如果字符串中有传入的assci码对应的值,返回下标 2.集合 2.1数组 2.1.1创建数组 new Array 阅读全文
posted @ 2019-02-14 14:13 kpsmile 阅读(980) 评论(0) 推荐(0) 编辑
摘要: 1.Scala函数的定义 有参函数 无参函数 注意点: l 函数定义语法 用def来定义 l 可以定义传入的参数,要指定传入参数的类型 l 方法可以写返回值的类型也可以不写,会自动推断,有时候不能省略,必须写,比如在递归函数中或者函数的返回值是函数类型的时候。 l scala中函数有返回值时,可以写 阅读全文
posted @ 2019-02-13 22:30 kpsmile 阅读(272) 评论(0) 推荐(0) 编辑
摘要: 1.基础数据类型 2.常量和变量的声明 定义变量或者常量的时候,也可以写上返回的类型,一般省略,如:val a:Int = 10 常量不可再赋值 3.类和对象 类(class): 对象(object):不可以传参 有一篇详细的关于Object的博文:https://blog.csdn.net/ym0 阅读全文
posted @ 2019-02-13 21:03 kpsmile 阅读(260) 评论(0) 推荐(0) 编辑
摘要: Scala介绍: Scala是一门多范式的编程语言,一种类似java的编程语言 [1] ,设计初衷是实现可伸缩的语言 [2] 、并集成面向对象编程和函数式编程的各种特性。 scala是基于Jvm的,完美兼容Java,是脚本类语言,但为什么说是脚本类语言呢,因为它运行过程如下: 源码 - scalac 阅读全文
posted @ 2019-02-13 20:16 kpsmile 阅读(228) 评论(0) 推荐(0) 编辑
摘要: 转自:https://blog.csdn.net/makang110/article/details/80596017 题记: Elasticsearch研究有一段时间了,现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度,从以下9个方面进行详细梳理。欢迎讨论…… 0. 带着 阅读全文
posted @ 2019-02-08 22:23 kpsmile 阅读(388) 评论(0) 推荐(0) 编辑
摘要: 新建和删除 Index 新建 Index,可以直接向 Elastic 服务器发出 PUT 请求。下面的例子是新建一个名叫weather的 Index。 服务器返回一个 JSON 对象,里面的acknowledged字段表示操作成功。 然后,我们发出 DELETE 请求,删除这个 Index。 数据操 阅读全文
posted @ 2019-02-08 22:22 kpsmile 阅读(585) 评论(0) 推荐(0) 编辑