摘要: Spark应用的数据源: 1)Driver驱动中的一个集合(parallelizePairs parallelize) 2)从本地(file:///d:/test)或者网络(file:///hdfs:localhost:7777)存上获取 textFile textWhol... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(306) 评论(0) 推荐(1) 编辑
摘要: 1.SparkSQL基础 import java.util.ArrayList;import java.util.List;import java.util.Arrays;import java.util.Collections;import java.io.Serializable... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(1004) 评论(0) 推荐(0) 编辑
摘要: 新建scala项目 1 没有原生类型,只有引用类型 2 没有操作符,所有操作都是方法调用 没有返回值的打印是(),java的syso没有返回值的打印会报错。 object Hello { def main(args: Array[String]): Unit = {// va... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(275) 评论(0) 推荐(0) 编辑
摘要: 构造器的使用 调用apply方法时.apply可以省略 object Hello{ def main(args:Array[String]){ //println("hello world") val m1 = new Man("Zhangsan") // 会报... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(98) 评论(0) 推荐(0) 编辑
摘要: 函数式:实现了某个特质的对象,有22个function 编程语言的范式: 命令式:面向过程、面向对象 函数式:hashkey,scala lambda函数 object ObjectDemo { def main(args: Array[String]): U... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(138) 评论(0) 推荐(0) 编辑
摘要: trait trait不想java那样,必须将方法全部实现,使用extends或者with来继承接口 重写方法需要加上override关键字。 object TraitDemo { def main(args: Array[String]): Unit = { val t =... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(100) 评论(0) 推荐(0) 编辑
摘要: 隐式转换 //隐式转换调用类中本不存在的方法class SwingType{ def wantLearned(sw : String) = println("兔子已经学会了"+sw)}object swimming{ implicit def learningType(s : ... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(79) 评论(0) 推荐(0) 编辑
摘要: 1.sparkSQL import org.apache.spark.sql.catalyst.encoders.ExpressionEncoderimport org.apache.spark.sql.Encoderimport org.apache.spark.sql.Rowim... 阅读全文
posted @ 2017-12-25 00:00 appointint 阅读(262) 评论(0) 推荐(0) 编辑
摘要: 并行流与串行流 并行流就是把一个内容分成多个数据块,并用不同的线程分别处理每个数据块的流。 java 8 中将并行进行了优化,我们可以很容易的对数据进行并行操作。Stream API 可以声明性地通过 parallel()与 sequential()在并行流与顺序流之间进行切换。 ... 阅读全文
posted @ 2017-12-24 00:00 appointint 阅读(159) 评论(0) 推荐(0) 编辑
摘要: zhu@ubuntu:~$ cp f1 dir1/f3zhu@ubuntu:~$ cd dir1zhu@ubuntu:~/dir1$ lsf1 f3zhu@ubuntu:~/dir1$ cc:未找到命令zhu@ubuntu:~/dir1$ cdzhu@ubuntu:~$ mkdir... 阅读全文
posted @ 2017-12-12 00:00 appointint 阅读(255) 评论(0) 推荐(0) 编辑