摘要：
/** * 循环队列 * 队列设置first指针直接指向队列头部元素,tail尾指针指向队列最后一个元素的后一个，即队列中总是预留一个空位 */ class CircleQueue implements Queue<Integer>{ private Integer[] queueArray = n 阅读全文
摘要：
1.DataFrame、DataSet以及SparkTable的区别 2.创建DataFrame 1.普通创建 case class Calllog(fromtel: String,totel: String,time: String,duration: Int) val ds = sc.textF 阅读全文
摘要：
1.压缩 在Hadoop中MR一共支持四种编码分别是:default,gzip,bzip2,lzo和snappy 下面是这几种压缩格式的说明: 压缩格式 工具 算法 后缀名 是否可切分 default 无 default .deflate 不可以切分 gzip gzip default .gzp 不 阅读全文
摘要：
1.什么是SparkRDD算子: 总的来讲RDD是Spark最小的数据抽象，每一个rdd算子都拥有五个主要的属性: 1.RDD是一组已经分好区的数据集 2.RDD拥有计算分区数据的功能 3.依赖其他RDD 4.对于key-value格式的RDD，可以自定义分区 5.RDD更喜欢在数据本地计算数据(即 阅读全文
摘要：
1.定义 我们先来看看官方对于Sqoop的定义 Apache Sqoop是一个工具专门用来处理Apache Hadoop和其他结构化数据的数据传输问题的，比如:关系型数据库。 Sqoop的原理是将用户提供的导入导出的命令或者脚本翻译成Mapreduce来实现的。 2.安装 从官网下载最新版本的sqo 阅读全文
摘要：
什么是hive? 我想对于一项技术或者工具的的定义，没什么会比官方来的更加准确吧。 上图是来自Hive官网的对于hive的定于: Apache HIve 是一个通过使用SQL语句来帮助存储在分布式系统上的数据更够更加方便的进行读写以及管理的大数据软件。它是为了保存提前准备好的数据而诞生的。人们可以通 阅读全文
摘要：
话不多说直接上图！ 阅读全文
摘要：
在讲解YARN工作机制之前我们先来解决几个问题:什么是yarn,yarn有什么作用，为什么会有yarn 首先我们来看一下什么是yarn,下面这几段英文是来自于HADOOP的官网，它将讲述HADOOP官方对于YARN的定义 Hadoop YARN: A framework for job schedu 阅读全文
摘要：
造成这个错误的原因是propertyname要和entity的属性名称对应，而不是和sql中的字段对应，刚开始没搞清楚谨记 阅读全文
摘要：
package threadpractice.practice2; public class KFC{ volatile static int num = 0; public KFC() { } public void producer() { synchronized (this) { while 阅读全文