摘要：
HDFS的设计理念是源于非常朴素的思想：当数据集大小超过单台计算机的存储能力时，就有必要将其进行分区，并且存储到若干台单独的计算机上，而管理网络中跨多台计算机存储的文件系统称为分布式文件系统（distribute filesystem）.hadoop 具有一个抽象的文... 阅读全文
摘要：
hadoop在安装前，咱们需要知道一下几点。 1.hadoop运行模式 单机（本地）模式：这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有... 阅读全文
摘要：
根据对HDFS架构和MapReduce架构的了解，咱们首先清楚的明白了，HDFS和MapReduce的集群其实都是由一些守护进程组成的，而所有的守护进程和运行他们的节点就构成了Hadoop集群。由上图咱们可以看到NameNode进程和JobTasker进程在一个节点上... 阅读全文
摘要：
构成MapReduce集群为两类节点， JobTeacker和TaskTrasker。 与HDFS架构类似，MapReduce也采用主从（master、slave）的架构。JobTeacker和TaskTrasker分别是两种守护进程，运行在各自的节点上，客户端负责用... 阅读全文
摘要：
构成HDFS 集群的主要是两个节点，并且，以主从（master/slave ） 的模式，或者说是NameNode管理者-DataNode工作者的模式运行，一般来说，都是一个管理者对应多个工作者。还有一个节点，叫做SecondaryNameNode,作为NameNode... 阅读全文