文章分类 - 分布式Hadoop
摘要：配置系统环境变量HADOOP_HOME，指向hadoop安装目录（如果你不想招惹不必要的麻烦，不要在目录中包含空格或者中文字符）把HADOOP_HOME/bin加到PATH环境变量（非必要，只是为了方便）如果是在windows下开发，需要添加windows的库文件把盘中共享的bin目录覆盖HADOO
阅读全文
摘要：前三节课主要讲了hdfs，hdfs就是一个分鱼展的大硬盘 分：分块 鱼：冗余 展：动态扩展 接下来讲云计算，也可以理解为分布式计算，其设计原则： 移动计算，而不是移动数据 前面说过，hadoop由hdfs，yarn，map/reduce组成， 而yarn（Yet Another Resource N
阅读全文
摘要：(1)关于hdfs小结 hadoop由hdfs + yarn + map/reduce组成， hdfs是数据库存储模块，主要由1台namenode和n台datanode组成的一个集群系统， datanode可以动态扩展，文件根据固定大小分块（默认为128M）， 每一块数据默认存储到3台datanod
阅读全文
摘要：（1）观察集群配置情况 [root@master ~]# hdfs dfsadmin -report （2）web界面观察集群运行情况 使用netstat命令查看端口监听 [root@master ~]# netstat -ntlp 浏览器地址栏输入：http://192.168.56.100:50
阅读全文
摘要：(一) 需要用到的软件 virtualbox redhat64(centos7) hadoop-2.7.3.jar jdk8 xshell ftp(我用的是FlashFXP) 所需要的软件，最好到官网上去下载，也可以到百度云盘下载：http://pan.baidu.com/s/1nvkDLbV （二
阅读全文
