摘要: 一、hadoop、Storm该选哪一个? 为了区别hadoop和Storm,该部分将回答如下问题:1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景,什么情况下使用hadoop4.什么是吞吐量首先整体认识:Hadoop是磁盘级计算,进行计算时 阅读全文
posted @ 2016-08-15 16:53 哼哼哈哈二将 阅读(25054) 评论(2) 推荐(2) 编辑
摘要: 新手刚开始学习比较迷茫,参考下面,然后找相关资料学习1 Spark基础篇 1.1 Spark生态和安装部署 在安装过程中,理解其基本操作步骤。 安装部署 Spark安装简介 Spark的源码编译 Spark Standalone安装 Spark Standalone HA安装 Spark应用程序部署 阅读全文
posted @ 2016-08-15 16:37 哼哼哈哈二将 阅读(1061) 评论(0) 推荐(1) 编辑
摘要: Scala类 Scala类和java类中有些区别,在Scala声明private变量会Scala编译器会自动生成get,set,在Scala中变量是需要初始化的,如果不声明private默认是public的 object Scala中没有静态修饰符,static,在object下的成员全部都是静态的 阅读全文
posted @ 2016-08-15 15:56 哼哼哈哈二将 阅读(4163) 评论(0) 推荐(0) 编辑
摘要: 举例: var increase = (x: Int) => x + 1 increase(10) res0: Int = 11 类似于转化符号,=>指明这个函数把左边的东西(任何整数x)转变成右边的东西(x + 1)。所以,这是一个把任何整数x映射为x + 1的函数。 阅读全文
posted @ 2016-08-15 14:58 哼哼哈哈二将 阅读(447) 评论(0) 推荐(0) 编辑
摘要: 通常情况下,函数的参数是传值参数;即参数的值在它被传递给函数之前被确定。但是,如果我们需要编写一个接收参数不希望马上计算,直到调用函数内的表达式才进行真正的计算的函数。对于这种情况,Scala提供按名称参数调用函数。 示例代码如下: 结果: 在代码中,如果定义函数的时候,传入参数不是传入的值,而是传 阅读全文
posted @ 2016-08-15 14:41 哼哼哈哈二将 阅读(486) 评论(0) 推荐(0) 编辑