06 2018 档案
摘要：park一个非常重要的特性就是共享变量。 默认情况下，如果在一个算子的函数中使用到了某个外部的变量，那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量，那么这种方式是做不到的。 Spark为此提供了两种共享变量，一种是Broadca
阅读全文
摘要：Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样的话，对于针对一个RDD反复执行多个操作的场景，就只要对RDD计算
阅读全文
摘要：Spark支持两种RDD操作：transformation和action。transformation操作会针对已有的RDD创建一个新的RDD；而action则主要是对RDD进行最后的操作，比如遍历、reduce、保存到文件等，并可以返回结果给Driver程序。 例如，map就是一种transfor
阅读全文
摘要：进行Spark核心编程时，首先要做的第一件事，就是创建一个初始的RDD。该RDD中，通常就代表和包含了Spark应用程序的输入源数据。然后在创建了初始的RDD之后，才可以通过Spark Core提供的transformation算子，对该RDD进行转换，来获取其他的RDD。 Spark Core提供
阅读全文
摘要：sparkcontext演示 streamingcontext演示
阅读全文
摘要：package com.sgm.spark import java.sql.DriverManager import org.apache.spark.SparkConf import org.apache.spark.streaming._ import org.apache.kafka.common.serialization.StringDeserializer import org.a...
阅读全文
摘要：1.extends 2.override与super 3.override field 4.isInstanceOf和asInstanceOf 5.getclass与classof 6.模式匹配 7.protected 8.调用父类的构造函数（构造函数详解参考五） 9.匿名内部子类 10.抽象类 1
阅读全文
摘要：结果输出
阅读全文
摘要：package src.main.scala //属性与私有字段，对象 class Stu7 { //类默认是pubic级别, private var privateHeight=150 //私有属性，生成私有的getter与setter方法 类里面方法可以访问类的所有私有字段,实例化不允许访问 def height=privateHeight //重新定义...
阅读全文
摘要：斐波那契 默认与带名参数 变长参数
阅读全文
摘要：tuple操作 map操作 Array的操作 scala worksheet 进阶 Java Map与Scala Map的隐式转换 多维数组 Java数组与Scala数组缓冲的隐式转换
阅读全文
摘要：package src.main.scala //格式化输出 object Stu1_2 { // for(i printf("the error is: %s\n",e.getMessage ) }finally { println("the end") } */ } }
阅读全文
