随笔分类 - 每日总结 大三
摘要：什么是架构： 通过阅读架构漫谈这几篇文章，我对架构这个名词有了初步的认识。架构，顾名思义，就是结构，正如文中所介绍的那样原始社会有了分工，并且通过交易使每个个体获得生活的必需品，这样就构成了社会的架构。那么架构的准确定义就是：把一个整体切分成不同的部分，由不同角色来完成这些分工，并通过建立不同部分相
阅读全文
摘要：值类 value class 值类的设计目的是使得隐式转换高效进行。特点： 继承自AnyVal 主构函数中包含且仅包含一个val字段 没有其他字段或构造函数 自动提供equals、hashCode函数，基于比较和散列包含的唯一字段 早定义 early definition覆盖早定义，为了解决父类初始
阅读全文
摘要：继承 inheritance 特质（trait）是定义行为、状态的抽象，类似java中的interface，但语义、功能更丰富。 尽管特质比java interface语义丰富很多，但暂且把使得一个类具备一个特质的行为称为一个类++实现++了一个特质。 类型只能继承一个class，不存在多继承，但类
阅读全文
摘要：创建DataFrames 数据 Copy {"id":"1","name":"zhangsan","age":"12"} {"id":"2","name":"lisi","age":"12"} {"id":"3","name":"wangwu","age":&
阅读全文
摘要：特点：懒执行 （1）map map的输入变换函数应用于RDD中所有元素 （2）flatMap flatMap与map区别在于map为“映射”，而flatMap“先映射，后扁平化”，map对每一次（func）都产生一个元素，返回一个对象，而flatMap多一步就是将所有对象合并为一个对象。 （3）fl
阅读全文
摘要：特殊方法 apply/unapply/unapplySeq/update 形式x(...)相当于调用apply()方法；用于赋值等号左侧时，形如x(...)=y，相当于调用update(..., y)。 伴生对象的apply方法多用于提供伴生类实例，省去new操作符。 unapply有逆apply之
阅读全文
摘要：new内嵌类实例语法形式为new <外部类实例>.<内嵌类名>，而java中为<外部类实例>.new <内嵌类名>。 class P{ class PNested } object P { class PInner } object app extends App { val p=new P val
阅读全文
摘要：val字段可以通过block或expression赋值，例： class Person {} class Person(val name:String, var age:Int) { // primary constructor private profile: String = "" def th
阅读全文
摘要：构造函数 constructor scala class构造函数（构造器）分为两种，主构函数（primary constructor）和辅构函数（auxiliary constructor）。主构函数有且仅有一个，参数列表在类名后的括号中（省略括号时即为无参构造函数），类定义体中的执行代码为主构器的
阅读全文
摘要：如果需要覆盖默认的getter、setter，应将字段设为private，字段名一般为getter/setter名（即对外形式的字段名）前加下划线_，类中定义getter方法def ={}，和setter方法def _=(s:Type){}。 通过注解@BeanProperty标注字段（或主构造器中
阅读全文
摘要：class & object 声明类的基本语法形式 [private] [final|sealed] [abstract] class ClassName [private] ([private] val|var] name1:Type1...) [extends SuperClassOrTrait
阅读全文
摘要：互转java类型 seq -> java list // in java, for scala 2.12.x scala.collection.JavaConverters.seqAsJavaList(seq) // in scala, scala 2.12.x import scala.colle
阅读全文
摘要：元组 tuple java代码中使用scala元组（TupleN）实例时尽量通过方法调用（._1()）访问元素，避免字段访问元素（._1），因为在元组类型参数全是基本类型（实质是Tuple2类声明时定义的特例化@specialized类型）时，通过字段访问到的值是null，通过方法能正确获取值。另外
阅读全文
摘要：集合 collection 集合分可变(mutalbe)、不可变(immutable)两种类型。immutalbe类层次结构图 sort: .sorted是自然序（升序），sortBy()定义元素的序，如果实参是元组，则是定义分组排序。 sliding(size, step=1): 滑动切分集合，每
阅读全文
摘要：程序控制 control structure if() {} else {}for(x <- 0 to 10)for(x <- 0 to 10; if x%2 == 0)for(i <- 1 to 3; z=4-i; j <- z to 3) //有变量定义的forfor(x<-0 to 10) y
阅读全文
摘要：字符串 String string interpolation 可以在字符串中嵌入表达式，然后解释出字符串的现象叫做stirng interpolation。解释这个字符串的方法叫做string interpolator。解释字符串中的变量（string interpolation），像perl、p
阅读全文
摘要：操作符 括号：形式"<符号x>(...)" 相当于调用apply()方法。形式"<符号x>(...) = ..."相当于调用update()方法。 具体地，符号x是数组对象时，表示下标访问，此时类似java中下标访问符[]；符号x为函数/方法名时，表示函数调用；符号为其他类型对象，是对其apply方
阅读全文
摘要：Spark支持使用Scala、Java、Python和R语言进行编程。由于Spark采用Scala语言进行开发，因此，建议采用Scala语言进行Spark应用程序的编写。Scala是一门现代的多范式编程语言，平滑地集成了面向对象和函数式语言的特性，旨在以简练、优雅的方式来表达常用编程模式。Scala
阅读全文
摘要：开发Spark应用程序时，可以采用Scala、Python、Java和R等语言，首选语言是Scala，因为Spark这个软件本身就是使用Scala语言开发的，采用Scala语言编写Spark应用程序，可以获得最好的性能。关于采用哪种语言编写Spark应用程序，这里强调两点：（1）Java代码太繁琐。
阅读全文
摘要：“Scala速度更快，使用方便 但上手难，而Python则较慢，但很容易使用。” Spark框架是用Scala编写的，所以了解Scala编程语言有助于大数据开发人员轻松地挖掘源代码，如果某些功能不能像预期的那样发挥作用。使用Python增加了更多问题和bug的可能性，因为2种不同语言之间的转换是困难
阅读全文
