上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 18 下一页
摘要: 1、Scala的类和方法、函数都可以是泛型 2、上界:表示泛型的类型必须是某种类型或者其类型的子类,语法:<: ,对类型进行限定 3、下界:表示泛型的类型必须是某种类型或者其类型的父类,语法:>: 4、View Bounds,可以进行隐式转换,将其转换成目标类型,是上边界和下边界的加强版, 语法 T 阅读全文
posted @ 2018-11-21 19:25 Mars、少年 阅读(150) 评论(0) 推荐(0) 编辑
摘要: package com.dt.spark.scala.bascis object Functional_Itearal { def main(args: Array[String]): Unit = { val range = 1 to 10 val list = List(1,2,3,4,5) println(list.head) println... 阅读全文
posted @ 2018-11-21 18:14 Mars、少年 阅读(161) 评论(0) 推荐(0) 编辑
摘要: package com.dt.spark.scala.bascis class Dataframework case class Computerframework (name:String,popular:Boolean) extends Dataframework case class Storgeframework (name:String,popular:Boolean) ext... 阅读全文
posted @ 2018-11-21 18:07 Mars、少年 阅读(175) 评论(0) 推荐(0) 编辑
摘要: /** * 函数式编程进阶: * 1、函数和变量一样作为Scala语言的一等公民,函数可以直接赋值给变量 * 2、函数更常用的方式是匿名函数,定义的时候只需要说明输入参数的类型和函数体即可,不需要名称, * 一般会把它赋值给变量,在Spark源码中大量存在 * 3、函数可以作为参数直接传递给函数,极 阅读全文
posted @ 2018-11-21 10:10 Mars、少年 阅读(154) 评论(0) 推荐(0) 编辑
摘要: 第一点: scala的接口trait中所有方法可以都被实现!! 这种情况一般会是一种工具方法的集合,例如接口 Logging! scala 多种继承用extends ... with .... 在老师讲解的1.6.X版本中Spark继承采用的是class SparkContext(config:Sp 阅读全文
posted @ 2018-11-20 19:29 Mars、少年 阅读(231) 评论(0) 推荐(0) 编辑
摘要: isInstanceOf 和 asInstanceOf is用于判断 as用于转换,把父类类型转换成子类类型 getClass 具体找出类型 阅读全文
posted @ 2018-11-20 18:39 Mars、少年 阅读(140) 评论(0) 推荐(0) 编辑
摘要: scala类和对象 RDD中创建_sc和deps相比java更加的简洁。 在Spark的例如SparkContext、sqlSpark等全局成员在完成实例化。 在唯一实例的时候一般不会去使用伴生对象apply方法。 伴生类和伴生对象必须写在同一个文件之中。 阅读全文
posted @ 2018-11-20 17:13 Mars、少年 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 本课内容1.Map和Tuple在Spark源码中的鉴赏2.Map和Tuple代码操作实战 /** * Scala中最常见的两种数据结构:Map 和 Tuple * * Map初步感受就是key,value方式,key即是值的索引,排列非常规按照Hash的方式, * 不是说插入了3个元素后第4个就在第 阅读全文
posted @ 2018-11-20 13:52 Mars、少年 阅读(278) 评论(0) 推荐(0) 编辑
摘要: /** * 如果有这些语法的支持,我们说这门语言是支持面向对象的语言 * 其实真正面向对象的精髓是不是封装、继承、多态呢? * >肯定不是,封装、继承、多态,只不过是支撑面向对象的 * 一些语言级别的语法和功能,真正的面向对象其实有三个核心特征: * 第一:对象不用关心消息从哪里来,也不关心消息到哪 阅读全文
posted @ 2018-11-20 13:28 Mars、少年 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 本课内容1.Spark中Scala集合操作鉴赏2.Scala集合操作实战 /** * 大数据技术是数据的集合以及对数据集合的操作技术的统称,具体来说: * 1.数据集合:会涉及数据的搜集、存储等,搜集会有很多技术,存储现在比较经典的是使用Hadoop, * 也有很多情况使用Kafka(消息中间件,也 阅读全文
posted @ 2018-11-20 13:23 Mars、少年 阅读(218) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 18 下一页