王家林 第六讲Hadoop图文训练课程：使用HDFS命令行工具操作Hadoop分布式集群初体验

王家林亲授的上海7月6-7日云计算分布式大数据Hadoop深入浅出案例驱动实战

 

 

这一讲主要使用HDFS命令行工具操作Hadoop分布式集群初体验：

 

Step 1：使用HSFS命令向Hadoop分布式集群存放一个大文件；

 

Step 2：删除文件并用两份副本在HDFS上存放数据；

 

使用HDFS命令行工具操作Hadoop分布式集群初体验PDF版本教程请猛击这里

 

王家林的“云计算分布式大数据Hadoop实战高手之路”之完整目录

 

 

王家林把自己几年来在Hadoop上的研究和实践总结出来，并通过动手实践的方式不断深入云就算实战技术，让人人皆可学习，并从中受益。

 

此教程来自于王家林多年的云计算实战研究和实践心得，全部免费教材为：云计算分布式大数据Hadoop实战高手之路（共3本书）：

 

1，王家林编写的“云计算分布式大数据Hadoop实战高手之路---从零开始”带领您无痛入门Hadoop并能够处理Hadoop工程师的日常编程工作，进入云计算大数据的美好世界。

 

2， 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手崛起”通过数个案例实战和Hadoop高级主题的动手操作带领您直达Hadoop高手境界。

 

3， 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手之巅”通过当今主流的Hadoop商业使用方法和最成功的Hadoop大型案例让您直达高手之巅，从此一览众山小。

 

这些教程会按照实践的推移每天逐步发布，大家要多多支持喔！

 

 

 

更多Hadoop交流可以联系家林：

 

新浪微博:http://weibo.com/ilovepains

 

QQ：1740415547

 

Hadoop讨论QQ群：312494188

 

Weixin：wangjialinandroid

 

官方博客：http://www.cnblogs.com/guoshiandroid/

 

现在开始动手做！

Step 1：使用HSFS命令向Hadoop分布式集群存放一个大文件；

我们曾下载过Eclipse这个IDE，如下所示：

此时可以看出这个文件的大小是139.4M，这个大小超过了Hadoop默认文件块的大小64M，因此这个文件讲会被分块存储。

下面我们使用命令行工具，在hadoop.main这台机器上把这个文件存入整个分布式文件系统：

通过上述命令就把Eclipse传递到了hdfs文件系统的根目录下，此时我们通过Web控制台查看一下文件系统：

可以看到文件成功从Ubuntu本地发布到了Hadoop分步式文件系统上！

点击文件我们可以看到该文件分块的信息：

在分块信息下面有具体的分块数据：

可以看到数据被分成了三个块，但是大家同时会注意到这个快在同一台主机上， 按照前面的配置，这些数据应该是分布在 不同的主机节点上的，为何会出现现在的情况呢？其实，这不是一个问题，因为我们的节点比较少，Hadoop是根据自己的算法调整把这个文件存放在了一个节点上。

Step 2：删除文件并用两份副本在HDFS上存放数据；

当我们现在有两个DataNode的情况下，可以把replication配置伪2

进入文件：

修改后：

保存退出：

停止Hadoop集群并重新启动：

接下来把刚刚上传到HDFS的Eclipse删除掉：

此时HDFS中的Eclipse就被删除掉了：

接下来我们再次把文件从本地上传给HDFS:

上传成功，打开Web控制台：

可以看到文件上传成功，此时我们点击该文件：

在这个页面的下面我们看到了数据存放的信息：

可以看出每份数据都有两个副本，分别存放在hadoop.main和hadoop.slave这两天机器上。

 

对HDFS操作的初体验到此结束。