摘要: Spark 1.Lighting-fast cluster computing 快如闪电的计算 2.大规模快速通用的计算引擎 3.spark在内存中计算的速度是hadoop的百倍;在磁盘中计算是MapperReduce的10倍 4.DAG: //direct acycle graph,有向无环图 5 阅读全文
posted @ 2018-09-21 18:36 stone1234567890 阅读(172) 评论(0) 推荐(0) 编辑
摘要: 一、高阶函数 1.作为值的函数:在Scala中,函数是头等公民,就和数字一样。 对函数能够干什么呢?调用它以及传递它 2.匿名函数 在scala中,不需要给每一个函数来进行命名,正如不需要给每个数字命名一样,以下是一个匿名函数 f1:add f2:sub //遍历数组值,输出元素值,每个元素平方返回 阅读全文
posted @ 2018-09-21 10:17 stone1234567890 阅读(125) 评论(0) 推荐(0) 编辑
摘要: 1.trait 如果只有一个trait就使用extends进行扩展,如果是多个,就使用with对生于trait进行扩展 //trait之间也存在扩展 trait logger2 extens logger1{} //with trait 是需要对每个trait都使用trait 自身类型 this:类 阅读全文
posted @ 2018-09-21 08:33 stone1234567890 阅读(107) 评论(0) 推荐(0) 编辑