摘要：
一、Azkaban 介绍 1.1 背景 一个完整的大数据分析系统，必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题： 如何定时调度某个任务？ 如何在某个任务执行完成后再去执行另一个任务？ 如何 阅读全文
摘要：
一、隐式转换 1.1 使用隐式转换 隐式转换指的是以 implicit 关键字声明带有单个参数的转换函数，它将值从一种类型转换为另一种类型，以便使用之前类型所没有的功能。示例如下： // 普通人 class Person(val name: String) // 雷神 class Thor(val 阅读全文
摘要：
一、泛型 Scala 支持类型参数化，使得我们能够编写泛型程序。 1.1 泛型类 Java 中使用 <> 符号来包含定义的类型参数，Scala 则使用 []。 class Pair[T, S](val first: T, val second: S) { override def toString: 阅读全文
摘要：
一、模式匹配 Scala 支持模式匹配机制，可以代替 swith 语句、执行类型检查、以及支持析构表达式等。 1.1 更好的swith Scala 不支持 swith，可以使用模式匹配 match...case 语法代替。但是 match 语句与 Java 中的 switch 有以下三点不同： Sc 阅读全文
摘要：
一、函数 1.1 函数与方法 Scala 中函数与方法的区别非常小，如果函数作为某个对象的成员，这样的函数被称为方法，否则就是一个正常的函数。 // 定义方法 def multi1(x:Int) = {x * x} // 定义函数 val multi2 = (x: Int) => {x * x} p 阅读全文
摘要：
一、继承 1.1 Scala中的继承结构 Scala 中继承关系如下图： Any 是整个继承关系的根节点； AnyRef 包含 Scala Classes 和 Java Classes，等价于 Java 中的 java.lang.Object； AnyVal 是所有值类型的一个标记； Null 是所 阅读全文
摘要：
一、初识类和对象 Scala 的类与 Java 的类具有非常多的相似性，示例如下： // 1. 在 scala 中，类不需要用 public 声明,所有的类都具有公共的可见性 class Person { // 2. 声明私有变量,用 var 修饰的变量默认拥有 getter/setter 属性 p 阅读全文
摘要：
一、映射(Map) 1.1 构造Map // 初始化一个空 map val scores01 = new HashMap[String, Int] // 从指定的值初始化 Map（方式一） val scores02 = Map("hadoop" -> 10, "spark" -> 20, "stor 阅读全文
摘要：
一、List字面量 List 是 Scala 中非常重要的一个数据结构，其与 Array(数组) 非常类似，但是 List 是不可变的，和 Java 中的 List 一样，其底层实现是链表。 scala> val list = List("hadoop", "spark", "storm") lis 阅读全文
摘要：
一、集合简介 Scala 中拥有多种集合类型，主要分为可变的和不可变的集合两大类： 可变集合： 可以被修改。即可以更改，添加，删除集合中的元素； 不可变集合类：不能被修改。对集合执行更改，添加或删除操作都会返回一个新的集合，而不是修改原来的集合。 二、集合结构 Scala 中的大部分集合类都存在三类 阅读全文