摘要： RDD简介、创建方式、分区 阅读全文

摘要： 一、spark-submit 1、类似于：hadoop jar; [主要负责jar包的提交]; 2、语法：spark-submit [options] <app jar | python file> [app arguments] 通过- -help 查看参数： 参数options： -master 阅读全文

摘要： 一、spark概述 1、Spark是什么 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 （1） Spark是一种由Scala语言开发的快速、通用、可扩展的大数据分析引擎 （2）Spark Core中提供了Spark最基础与最核心的功能 （3） Spark SQL是Spark用来 阅读全文

摘要： 1、Map方法 说明：map 方法主要是一对一映射，取出集合中的每个元素，执行操作，返回值和集合的类型一致。 示例：将数组 val array=Array(1,2,3,4,5) 中的每个元素*10 阅读全文

摘要： 1、特点 无序、不能重复 2、声明 （1）不可变 val set=Set(1,2,3,4,1,2,3)——自动去重 （2）可变 var set = scala.collection.immutable.Set(1,2,3) 3、常用方法 +=、++=、-=、 、head、tail等 没有insert 阅读全文

摘要： 一、不可变集合 1、声明 （1）使用 -> 的方式声明 备注： 声明的Map集合的时候如果不加泛型，必须保证声明的map集合中有数据，因为有数据会自动适配，没有数据会返回Nothing （2）使用对偶元组的方式声明 （3）Map集合在创建的时候不能使用new关键字，因为Map是一个接口 Java中也 阅读全文

摘要： 一、List集合 1、分类 mutable 可变——元素个数和值等可以改变（ListBuffer） immutable不可变——长度和元素的值都不可变（List） 在scala.collection.mutable/immutable包中，常用的List就是immutable下面的集合。 2、Lis 阅读全文

摘要： 一、数组分类 mutable 可变——元素个数和值等可以改变（需要导包） immutable不可变——数组的长度不能被改变，但是值可以被改变 在scala.collection.mutable/immutable包中，常用的Array就是immutable下面的数组。 二、不可变数组 1、语法 va 阅读全文

摘要： 一、Scala中的集合 1、按照常用性进行排序： 1-元组 2-数组（Array，在scala中Array是单独存在的，直接声明Array[type]） 3-List 4-Map 5-Set (去重) 2、以上的集合数据都分为两种（除了元组）： mutable 可变集合——集合声明以后，元素个数和值 阅读全文

摘要： Scala中的方法与函数 阅读全文