摘要: 1,简单工厂模式a) 有一个抽象的接口用来表示工厂需要生产的产品共性;然后各个具体的产品类实现该抽象接口。b) 工厂只需要持有产品的抽象接口,工厂接收一个 TYPE 参数来决定生产何种产品。c) 对于客户而言,当他需要某种类型的产品时,只需要获得工厂对象,然后将产品的 TYPE参数传递给工厂,由工厂... 阅读全文
posted @ 2015-11-19 15:53 大熊猫同学 阅读(422) 评论(0) 推荐(0) 编辑
摘要: 一,介绍Oozie是一个基于Hadoop的工作流调度器,它可以通过Oozie Client 以编程的形式提交不同类型的作业,如MapReduce作业和Spark作业给底层的计算平台(如 Cloudera Hadoop)执行。Quartz是一个开源的调度软件,它为任务的调度执行提供了各种触发器以及监听... 阅读全文
posted @ 2015-11-06 21:54 大熊猫同学 阅读(2068) 评论(0) 推荐(0) 编辑
摘要: 1,eclipse环境搭建在eclipse中新建一个JAVA工程,导入必要的依赖包,目前用到的有:其次编写JAVA 程序提交Oozie作业,这里可参考:oozie官方参考文档在运行提交程序前,首先需要把相应的程序打成jar包,定义好workflow.xml,再把它们上传到HDFS中。然后在程序中指定... 阅读全文
posted @ 2015-10-13 16:19 大熊猫同学 阅读(4015) 评论(0) 推荐(0) 编辑
摘要: 1,Hashing过程 像二分查找、AVL树查找,这些查找算法的时间复杂度为O(logn),而对于哈希表而言,我们一般说它的查找时间复杂度为O(1)。那它是怎么实现的呢?这就是一个Hashing过程。 在JAVA中,每个对象都有一个散列码,它是由Object类的hashCode()方法计算得到的(当 阅读全文
posted @ 2015-10-07 12:07 大熊猫同学 阅读(6329) 评论(0) 推荐(2) 编辑
摘要: 当使用 hadoop fs -put localfile /user/xxx 时提示: put: Permission denied: user=root, access=WRITE, inode="/user/shijin":hdfs:supergroup:drwxr-xr-x 表明:权限不够。这 阅读全文
posted @ 2015-09-29 17:27 大熊猫同学 阅读(16080) 评论(0) 推荐(0) 编辑
摘要: 1,什么是写时复制(Copy-On-Write)容器? 写时复制是指:在并发访问的情景下,当需要修改JAVA中Containers的元素时,不直接修改该容器,而是先复制一份副本,在副本上进行修改。修改完成之后,将指向原来容器的引用指向新的容器(副本容器)。 2,写时复制带来的影响 ①由于不会修改原始 阅读全文
posted @ 2015-09-26 09:55 大熊猫同学 阅读(22147) 评论(4) 推荐(3) 编辑
摘要: 1,堆作为优先级队列的应用 对于普通队列而言,具有的性质为FIFO,只要实现在队头删除元素,在队尾插入元素即可。因此,这种队列的优先级可视为按 时间到达 的顺序来衡量优先级的。到达得越早,优先级越高,就优先出队列被调度。 更一般地,元素 不能单纯地按时间到来的先后来分优先级(或者说插入的顺序),在这 阅读全文
posted @ 2015-09-20 16:34 大熊猫同学 阅读(776) 评论(0) 推荐(0) 编辑
摘要: 1,导论什么是数据结构?A data structure is an aggregation of data components that together constitute a meaningful whole。在计算机领域中,技术千变万化,但是基本的数据结构始终只有那几种。而抽象数据类型(... 阅读全文
posted @ 2015-09-16 20:36 大熊猫同学 阅读(3694) 评论(0) 推荐(0) 编辑
摘要: 1,导论 ①如何在分布式环境下定义系统中所有事件的发生顺序?②分布式环境下多个进程竞争资源时如何互斥?③什么是偏序,偏序的作用是什么,有什么不足?④什么是全序,全序的作用是什么,有什么不足?⑤为什么需要物理时钟,物理时钟如何同步?下面来进行介绍。 2,偏序的定义、发生在先(happened befo 阅读全文
posted @ 2015-09-08 14:50 大熊猫同学 阅读(4487) 评论(0) 推荐(0) 编辑
摘要: LeetCode WordBreak原题 Given a string s and a dictionary of words dict, determine if s can be segmented into a space-separated sequence of one or more d 阅读全文
posted @ 2015-08-30 11:29 大熊猫同学 阅读(2913) 评论(0) 推荐(0) 编辑