摘要: 1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 阅读全文
posted @ 2016-07-29 10:29 业精于勤荒于嬉嬉 阅读(257) 评论(0) 推荐(0) 编辑
摘要: 1、HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征 阅读全文
posted @ 2016-07-29 10:28 业精于勤荒于嬉嬉 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用 阅读全文
posted @ 2016-07-29 10:25 业精于勤荒于嬉嬉 阅读(159) 评论(0) 推荐(0) 编辑
摘要: 在UML类图中,常见的有以下几种关系:泛化(Generalization), 实现(Realization),关联(Association),聚合(Aggregation),组合(Composition),依赖(Dependency) 1.泛化(Generalization) 【泛化关系】:是一种继 阅读全文
posted @ 2016-07-29 10:02 业精于勤荒于嬉嬉 阅读(109) 评论(0) 推荐(0) 编辑
摘要: open-flash-chart 这是一个开源的Flash报表组件,可以免费使用还可以修改源码,简称OFC 关于ofc版本: 目前open-flash-chart 最新的版本是2.0bate版.比较稳定的是1.9版. 1.9版本用actionscript2.0编写, 2.0用acrionscript 阅读全文
posted @ 2016-07-29 09:55 业精于勤荒于嬉嬉 阅读(169) 评论(0) 推荐(0) 编辑
摘要: 阅读目录 一、Maven介绍及环境搭建 二、构建Maven版的Hello World 三、Maven常见构建命令 四、自动创建目录骨架 五、Maven中的坐标和仓库 六、在eclipse中安装Maven插件以及创建Maven项目 七、Maven的生命周期和插件 阅读目录 一、Maven介绍及环境搭建 阅读全文
posted @ 2016-07-27 15:22 业精于勤荒于嬉嬉 阅读(121) 评论(0) 推荐(0) 编辑
摘要: 阅读目录 一、Class类的使用 二、动态加载类 三、获取方法信息 四、获取成员变量、构造函数信息 五、方法的反射 六、通过反射了解集合泛型的本质 阅读目录 一、Class类的使用 二、动态加载类 三、获取方法信息 四、获取成员变量、构造函数信息 五、方法的反射 六、通过反射了解集合泛型的本质 一、 阅读全文
posted @ 2016-07-27 15:20 业精于勤荒于嬉嬉 阅读(158) 评论(0) 推荐(0) 编辑
摘要: 阅读目录 1、JVM 简介 2、JVM 的组成部分 3、JVM加载class文件的原理机制 阅读目录 1、JVM 简介 2、JVM 的组成部分 3、JVM加载class文件的原理机制 在面试java工程师的时候,这道题经常被问到,故需特别注意。 1、JVM 简介 JVM 是我们Javaer 的最基本 阅读全文
posted @ 2016-07-27 15:15 业精于勤荒于嬉嬉 阅读(184) 评论(0) 推荐(0) 编辑
摘要: 了解Yarn的架构之前,先说说为什么会出现Yarn。在Hadoop v1版本中,存在最大的问题就是资源管理和任务管理耦合在一起,且整个集群的扩展性、可靠性(JobTracker的单节点故障问题)很差,以及最重要的一个问题,集群资源的利用率低。 随着数据规模的膨胀,大家已经不满足于仅仅能在Hadoop 阅读全文
posted @ 2016-07-27 15:05 业精于勤荒于嬉嬉 阅读(2649) 评论(0) 推荐(0) 编辑
摘要: 在阎宏博士的《JAVA与模式》一书中开头是这样描述工厂方法模式的: 工厂方法模式是类的创建模式,又叫做虚拟构造子(Virtual Constructor)模式或者多态性工厂(Polymorphic Factory)模式。 工厂方法模式的用意是定义一个创建产品对象的工厂接口,将实际创建工作推迟到子类中 阅读全文
posted @ 2016-07-27 14:55 业精于勤荒于嬉嬉 阅读(419) 评论(0) 推荐(0) 编辑