摘要：
前言：Java.util.*工具包中，包含了集合框架，旧集合类，事件模型，日期和时间设施，国际化和其他使用程序类 （字符串、随机数生成器和位数组） 一、日期类Date 1.概述 Date是一个薄包装类，没有定义很多方法，而且很多方法已经被弃用，但是它仍是常被使用的类。 Date它允许将日期解释为年， 阅读全文
摘要：
博主本人遇见该问题时是想要通过Idea的plugins工具下载阿里巴巴的代码规约工具 但是在我点开settings，然后打开plugins工具时竟然给我提示“marketplace plugins are not loaded”！ 开什么玩笑，我手机还开着直播呢！经上网了解发现IDEA的模块系统加载 阅读全文
摘要：
一、打开File->setting->Editor->Live Templates 二、注意右边有“+”、“-”号，点击+号选择第二个Template Group...，并输入新组名Java，然后点OK 三、选中你新建的Java组，再点击右边的+号，选择第一个Live Template，在下方填入A 阅读全文
摘要：
一、Akka简介 Akka时spark的底层通信框架，Hadoop的底层通信框架时rpc。 并发的程序编写很难，但是Akka解决了spark的这个问题。 Akka构建在JVM平台上，是一种高并发、分布式、并且容错的应用工具包； Akka使用Scala语言编写，同时它提供了Scala和Java的开发接 阅读全文
摘要：
一、关键字 1.final关键字 用final修饰的类：不能被继承 用final修饰的方法：不能被重写 注意：（1）在Scala中变量不需要用final修饰，因为val与var已经限制了变量是否可变 （2）final不能修饰特质，但是可以修饰抽象类 如图代码，Pig继承特质Animal后使用“ctr 阅读全文
摘要：
Java中的面向对象：万物皆对象。 我们要封装数据，定义模板等操作，素以我们需要面向对象。 一、Scala中的单例对象 在java中用static关键字修饰方法或成员变量，作用是可以直接通过"类名."的方式调用方法或变量 在Scala中没有static关键字，Scala给我们提供了单例对象的模式来实 阅读全文
摘要：
1.Scala类或单例对象中快速声明实例对象： eg. new SparkContext(conf).var 系统会自动提示，可以自动补全，如图： 2.ctrl+i与ctrl+o的区别: ctrl + i ：显示未实现的方法； ctrl + o：显示可以重写的方法 3.alt+insert 可以快速 阅读全文
摘要：
一、Spark交互式命令行 启动脚本：spark-shell 先启动spark：./start-all.sh 本地模式启动命令：/bin/spark-shell 集群模式启动命令：/bin/spark-shell --master spark://spark-1:7077 --total-execu 阅读全文
摘要：
1.Caused by: java.lang.RuntimeException: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. 这是因为 阅读全文
摘要：
一、Spark概述 spark官网：spark.apache.org Spark是用的大规模数据处理的统一计算引擎，它是为大数据处理而设计的快速通用的计算引擎。spark诞生于加油大学伯克利分校AMP实验室。 mapreduce（MR）与spark的对比： 1.MR在计算中产生的结果存储在磁盘上，s 阅读全文