摘要:
Hive是存在于Hadoop集群之上的数据仓库,作为大数据处理时的主要工具,对于大数据开发人员的重要性不言而喻。当然要使用Hive仓库的前提就是对于hive的安装,hive的安装是很简单的过程,主要关注的就是对于hive的元数据的存储位置的考虑。hive在安装的时候,它会默认的将自己的元数据是存储在 阅读全文
摘要:
java中的反射是一种强大的工具,它能够创建灵活的代码,这些代码可以在运行时装配,无序在组件之间进行链接。 反射允许在编写与执行时,使程序代码能够接入装载到JVM的类的内部信息,而不是源代码中选定的类协作的代码。这使 得反射成为构建灵活应用的主要工具。 java中的类反射Reflection是jav 阅读全文
摘要:
1.final:如果一个类被final修饰,意味着该类不能派生出新的子类,不能作为父类被继承。因此一个类不能被声明为abstract,又被声明为final。将变量或方法声明为final。可以保证他们在使用的时候不被改变。其初始化可以在两个地方:一是其定义的地方,也就是在final变量在定义的时候就对 阅读全文
摘要:
在Mapreduce中,Shuffle过程是Mapreduce的核心,它分布在Mapreduce的map阶段和reduce阶段,共可分为6个详细的阶段: 1).Collect阶段:将MapTask的结果输出到默认大小为100M的MapOutputBuffer内部环形内存缓冲区,保存的是key/val 阅读全文
摘要:
关于Sql中Select语句的执行顺序,一直很少注意这个问题,对于关键字的使用也很随意,至于效率问题,因为表中的数据量都不是很大,所以也不是很在意。 今天在一次面试的时候自己见到了,感觉没一点的印象,所以也就没有答上来,现在整理一下吧,希望提醒自己,也能够帮到其他的朋友。如下: 每个步骤产生一个虚拟 阅读全文
摘要:
1. 成员变量会自动的进行初始化,但是局部变量不会; 2. equals传引用值,==传地址值;当一个对象是引用类型时,就必须使用equals进行比较。 3. 继承:实现代码的复用,继承关系以一种验证的思想,即“is a”, 封装与继承就是为了实现多态而准备的; 4. 组合与继承:组合是在一个类中引 阅读全文
摘要:
一、对于CDH的小总结: CDH:是Cloudera公司在Apache开源项目hadoop的基础上发型的,共有五个版本前两个已不再更新,最经的两个分别是CDH4(基于hadoop2.0.0版本演化而来)、CDH5(每隔一段时间就会有更新) CDH与Apache hadoop的区别:1.CDH的版本更 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文