---江北

摘要： 一、概述 1.kettle是什么 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 更多介绍，参考kettle中文网 阅读全文

摘要： 一、JdbcRDD与关系型数据库交互 虽然略显鸡肋，但这里还是记录一下（点开JdbcRDD可以看到限制比较死，基本是鸡肋。但好在我们可以通过自定义的JdbcRDD来帮助我们完成与关系型数据库的交互。这点和Hadoop需要借助sqoop等工具进行是有优势的！） 给出一个demo的参考链接：https: 阅读全文

摘要： 一、自定义分区 1.概述 默认的是Hash的分区策略，这点和Hadoop是类似的，具体的分区介绍，参见：https://blog.csdn.net/high2011/article/details/68491115 2.实现 // 与Hadoop相通，不再赘述 二、自定义排序 基本上就是结合之前的隐 阅读全文

摘要： 一、RDD概述 1.什么是RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时 阅读全文

摘要： 一、概述 1.什么是spark 从官网http://spark.apache.org/可以得知： Apache Spark™ is a fast and general engine for large-scale data processing. 主要的特性有： Speed：快如闪电（HADOOP 阅读全文

摘要： 一、概述 1.什么是akka Akka基于Actor模型，提供了一个用于构建可扩展的（Scalable）、弹性的（Resilient）、快速响应的（Responsive）应用程序的平台。 更多入门的基础与介绍，参考：https://www.iteblog.com/archives/1154.html 阅读全文

摘要： 注：我们现在学的Scala Actor是scala 2.10.x版本及以前版本的Actor。 Scala在2.11.x版本中将Akka加入其中，作为其默认的Actor，老版本的Actor已经废弃 一、概述 1.什么是actor Scala的Actor类似于Java中的多线程编程。但是不同的是，Sca 阅读全文

摘要： 一、 类、对象、继承、特质 1.类 Scala的类与Java、C++的类比起来更简洁 定义： 当然，变量和Java一样可以进行访问控制： //对象私有字段,访问权限更加严格的，Person类的方法只能访问到当前对象的字段 private[this] val pet = "小强" 构造器： 2.对象 阅读全文

摘要： 一、基础语法 1.变量类型 // 上表中列出的数据类型都是对象，也就是说scala没有java中的原生类型。在scala是可以对数字等基础类型调用方法的。 2.变量声明——能用val的尽量使用val！！！ 3.条件表达式 常规判断 4.块表达式 5.循环 to是闭区间；until是左闭右开 6.方法 阅读全文

摘要： 一、安装插件 见Scala入门篇 二、新建项目 选择new project，其中SBT相当于精简版的maven，其他的待补充。这里选择IDEA 填写信息，选择Scala SDK 在src目录下新建Scala Class，类型可以选择Class——普通类、Object——静态的、Trait——特指的， 阅读全文