咖啡猫

摘要： 静态变量和静态方法都属于静态对象，它与非静态对象的差别需要做个说明。（1）Java静态对象和非静态对象有什么区别？ 比对如下： 静态对象 非静态对象拥有属性： 是类共同拥有的 是类各对象独立拥有的内存分配： 内存空间上是固定的空间在各个附属类里面分配分配顺序： 先分配静态对象的空间继而再对非静态对... 阅读全文

摘要： 本文转自：http://www.cnblogs.com/gpcuster/archive/2011/04/12/2013411.html无论是在Hadoop集群中添加机器和删除机器，都无需停机，整个服务不中断。本次操作之前，Hadoop的集群情况如下：HDFS的机器情况如下：MR的机器情况如下：添加... 阅读全文

摘要： 在上一篇文章中我们讲解了一个基本的MapReduce作业由那些基本组件组成，从高层来看，所有的组件在一起工作时如下图所示：图4.4高层MapReduce工作流水线 MapReduce的输入一般来自HDFS中的文件，这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点... 阅读全文

摘要： 输入块（InputSplit）：一个输入块描述了构成MapReduce程序中单个map任务的一个单元。把一个MapReduce程序应用到一个数据集上，即是指一个作业，会由几个（也可能几百个）任务组成。Map任务可能会读取整个文件，但一般是读取文件的一部分。默认情况下，FileInputFormat... 阅读全文

摘要： （1）以怎样的方式从分片中读取一条记录，每读取一条记录都会调用RecordReader类；（2）系统默认的RecordReader是LineRecordReader，如TextInputFormat；而SequenceFileInputFormat的RecordReader是SequenceFile... 阅读全文

摘要： Mapper的处理过程：1.1. InputFormat 产生 InputSplit，并且调用RecordReader将这些逻辑单元（InputSplit）转化为map task的输入。其中InputSplit是map task处理的最小输入单元的逻辑表示。1.2. 在客户端代码中调用Job类来设置... 阅读全文

摘要： C#菜鸟做这个东东竟然花了快三天的时间了，真是菜，菜，菜～～～下面是我用C#写的 一个简单的TCP通信，主要的功能有：（1） 多个客户端与服务器间的数据交流（2）可以实现群发的功能（3）客户端与服务端可以进行文件的传输主要用到的知识： TCP里的 socket 、、、 多线程 Thread 、、、下... 阅读全文

摘要： Hadoop中的Map Reduce框架依赖InputFormat提供数据，依赖OutputFormat输出数据，每一个Map Reduce程序都离不开它们。Hadoop提供了一系列InputFormat和OutputFormat方便开发，本文介绍几种常用的：TextInputFormat作为默认的... 阅读全文

摘要： InterruptedException这个异常一般发生在线程中，当一个正在执行的线程被中断时就会出现这个异常～！简单的说就是：假如有两个线程，第一个线程正在运行，第二个没有运行，这时第二个线程启动运行并要求中断第一个线程，第一个线程就会出现InterruptedException异常并执行该异常下... 阅读全文

摘要： 最近遇到了一个问题，执行start-all.sh的时候发现JPS一下namenode没有启动 每次开机都得重新格式化一下namenode才可以 其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失 于是我们得重新配置一个tmp... 阅读全文