01 2019 档案
摘要：前言 本文主要给出Spark创建空的DataFrame的代码示例，这里讲的空的DataFrame主要指有列名（可以自己随意指定），但是没有行的DataFrame，因为自己在开发过程中有这个需求，之前并不知道怎么创建，就查了一下，发现资料并不多，不知道因为太简单还是用的人少，至于具体什么需求就不阐述了
阅读全文
摘要：Java程序经常也会遇到进程挂掉的情况，一些状态没有正确的保存下来，这时候就需要在JVM关掉的时候执行一些清理现场的代码。 JAVA中的ShutdownHook提供了比较好的方案。 JDK提供了Java.Runtime.addShutdownHook(Thread hook)方法，可以注册一个JVM
阅读全文
摘要：// scalastyle:off println package org.apache.spark.examples import scala.math.random import org.apache.spark._ /** Computes an approximation to pi */ object SparkPi { def main(args: Array[Str...
阅读全文
摘要：() => Unit > 是一个函数；=> Unit --> 是一个执行结果为Unit的表达式 code: => Unit是 by name 传递参数。参数是一个返回值为Unit的代码块。在传递的时候，参数没有被调用。比如： def test(code : => Unit){ println("st
阅读全文
摘要：将函数映射到集合 化简、折叠和扫描 拉链操作 迭代器 （相对于集合而言是一个“懒”的替代品，只有在需要时才去取元素，如果不需要更多元素，不会付出计算剩余元素的代价） 流（stream） 懒视图（应用于集合） 与Java集合的互操作 线程安全的集合 并行集合
阅读全文
摘要：Scala集合的主要特质 Iterator，用来访问集合中所有元素 Seq是一个有先后次序的值得序列，比如数组或列表。IndexSeq允许我们通过整型的下标快速访问任意元素，如ArrayBuffer是带下标的。Set是一组没有先后次序的值，在SortedSet中，元素以某种排过序的顺序被访问。Map
阅读全文
