摘要： 1）安装Ubuntu或其他Linux系统： a)为减少错误，集群中的主机最好安装同一版本的Linux系统，我的是Ubuntu12.04。 b)每个主机的登陆用户名也最好都一样，比如都是hadoop，不然到最后启动hadoop时会出现不管你密码是否输入正确，都会提示权限不够的错误，如果你之前装系统时没注意到这个问题，可以之后在每个主机上都新建一个用户hadoop来实现，命令如下： 增加hadoop用户：sudo adduser hadoop 把新加的hadoop用户，添加到admin组中，让其有sudo权限：sudo usermod -aG adm,sudo hadoop 切换到hado... 阅读全文

摘要： HDFS和MapReduce是Hadoop的核心，整个Hadoop的体系结构主要是通过HDFS来实现 分布式存储底层支持的，并且它会通过MapReduce来实现分布式并行任务处理的程序支持。 首先介绍下HDFS的体系结构：HDFS采用了主从（master/slave）结构模型，一个HDFS集群是由一个namenode和若干datanode组成。其中namenode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作；集群中的datanode管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看，文件被分为若干个数据块，而且这若干个数据块存放在一组datanode... 阅读全文