随笔分类 - 大数据 / spark
摘要：任务执行流程 宏观执行流程 通过 bin/spark-submit -class [主类] --master [启动模式] --deploy-mode client WordCounter.jar ./input ./output 脚本启动任务； 启动 Driver，执行用户类的 main 方法，完
阅读全文
摘要：Transformation 转换算子 RDD 整体上分为 Value、双Value、Key-Value 三种类型。 Value 类型 Map算子 函数签名 def map[U:ClassTag](f:T=>U):RDD[U]，它通过接受一个参数，并且遍历该 RDD 中每一个数据项，依次应用函数 f
阅读全文
摘要：运行案例程序 计算圆周率——Local Local 模式下，解压安装 spark 后，运行 example 包下的案例程序： bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ./examples
阅读全文
摘要：Spark Spark 作为分布式计算框架，基于 MapReduce 框架开发，但是也有以下区别: Spark 基于 Scala 语言开发，MR 基于 Java 语言开发；Scala 是函数式编程语言，对于函数间相互调用效率更高；而 Java 是面向对象语言，函数间调用必须依赖于对象，效率低。 Ma
阅读全文
摘要：Scala Scala特点： 和 Java 无缝整合，满足各自语法基础上调用 Java 库； 类型推断，类似于 Golang，Scala 通过 val 声明常量，通过 var 声明变量。 支持并行和分布式； 高阶函数编程，可以理解为面向对象编程，但是函数可以作为对象并当作参数传入。 数据类型 Nul
阅读全文
