摘要：
反射一般用来写一些通用的框架。比如ide的自动提示。2、工厂模式 1 package Reflect; 2 3 interface fruit{ 4 public abstract void eat(); 5 } 6 7 class Apple implements fruit{ 8 public void eat(){ 9 System.out.println("Apple");10 }11 }12 13 class Orange implements fruit{14 public void eat(){15 S... 阅读全文
摘要：
数据以文件的形式存储在HDFS中，在MapReduce程序中，数据是怎么从HDFS传给Mapper的？Reducer处理完数据之后，又是怎么把数据存储到HDFS中的？1、将数据从HDFS传到Mapper是由InputFormat类实现的，2、将数据从Reducer存储到HDFS是由OutputFormat类实现的。一、输入流 InputFormat类是一个抽象类，InputFormat类定义了两个抽象函数。这两个抽象函数是： abstract List getSplits(JobContext context);abstract RecordReader createRecordR... 阅读全文
摘要：
一、java对象的序列化： java可以通过实现Serializable接口来序列化一个对象。把一个对象进行序列化有几个好处，其一在于，对于一些不明确的类对象我们通过序列化把类保存起来，既可由本地的进程使用，也可以发送给网络上的一台计算机使用。远程计算机通过反序列化进而从一串字节中把活的对象给解析出来，从而复活对象。 术语： 持久化：将对象序列化存储到文件； 数据通信：将对象序列化发送到远程计算机； java序列化机制的局限性： 计算量开销大，序列化的结果体积庞大，有时能达到对象大小的数倍甚至十倍。他的引用机制也会导致大文件不能分割的问题。这些局限对于hadoo... 阅读全文
摘要：
hadoop文件系统的特点： 1、最大支持PB级别的数据； 2、流式数据访问，一次写入，多次读取； 3、不可靠的文件，故障率高的商用硬件上能运行； 4、不适应低时间延迟的数据访问，不适应处理大量小文件，不适应多用户写入任意修改文件 在一个HDFS集群中，只有一台计算机做名称节点NameNode，一台计算机做第二名称节点SecondaryNameNode，其他及其均为数据节点DataNode。在伪分布式的运行方式下，三种节点由同一机器担任。 NameNode：HDFS的管理者。SecondaryNameNode：NameNode的辅助者，帮助NameNode处理一... 阅读全文
摘要：
环境：centos 5.10finnal版 分区方案：只单独分了一个/boot，用于启动 问题描述：安装centos后，进行一次全方位更新，重启后无法进入系统，甚至是grub菜单，在屏幕上显示：no operate system found。 委曲求全方案：插入安装U盘，进入grub，手动加载系统启动内核。一切ok！如果你觉得用一张U盘来做一个钥匙来进入你的系统还不错，那么这也是一个不错的事 情，没有这钥匙谁也进不去系统。 解决方案：有朋友叫我用PE工具重建引导记录，但我觉得不大可行，因为这是linux系统，网上那些PE系统大都是针对windows的，但还是决定试一试... 阅读全文
摘要：
目前Data的暴增量无比惊人，对于数据的存储与分析到达一个新的困境，磁盘存储增加速度很快，但是在IO方面---磁盘传输或磁盘读取却始终未能跟进磁盘容量更新的脚步，采用多磁盘并行无疑是网络数据处理的最佳模式，然而，其中有很多问题： 1、数据分批存储在多个磁盘，如果某个设备故障，将导致数据不完整，常用解决办法采用磁盘阵列备份，虽然这样会带来一定的经济承担。 2、有些基于统计学的数据必须在所有数据都加载之后才能显现出其所存在的科学意义，不能只单纯的处理某个节点所加载的数据单元。 需求出现：需要一个分布式的系统，提供分批存储、阵列备份、数据分析、结果综合的海量数据处理功能。 MapRedu... 阅读全文
摘要：
UML1、类图（父类在右上角标明）类名：不可省略，如是接口应标明。正体字（可实例化类）斜体（抽象类）属性清单：+public-private#protected方法清单：同上，方法下有划线，表示静态方法，构造方法也是这层性质清单：set和get方法（内部成员类）：可有可无，内部类2、对象图能很好的显... 阅读全文