hdfs shell 命令以及原理

shell 操作 dfs

上传
[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -put /opt/MegaRAID/MegaCli/MegaCli64 hdfs://ns1/MegaCli
或者
[hadoop@namenode ~]$ /data/hadoop/bin/hdfs dfs -put /opt/MegaRAID/MegaCli/MegaCli64 /megacli

查看
[hadoop@namenode ~]$ /data/hadoop/bin/hdfs dfs -ls /
Found 7 items
drwxr-xr-x - hadoop supergroup 0 2016-11-09 14:21 /123456
-rw-r--r-- 3 hadoop supergroup 2247752 2016-11-10 15:49 /MegaCli
drwxr-xr-x - hadoop supergroup 0 2016-11-04 15:20 /data
-rw-r--r-- 3 hadoop supergroup 2247752 2016-11-10 15:50 /megacli
drwx------ - hadoop supergroup 0 2016-11-09 12:11 /tmp
-rw-r--r-- 3 hadoop supergroup 214092195 2016-11-08 18:50 /tools
-rw-r--r-- 3 hadoop supergroup 53 2016-11-09 12:08 /worlds

下载
/data/hadoop/bin/hadoop fs -get hdfs://ns1/MegaCli ./
或者
/data/hadoop/bin/hdfs dfs -get /MegaCli ~/megacli

本地文件拷贝到hdfs中
/data/hadoop/bin/hadoop fs -copyFromLocal /data/auto_pub.sh /

查看 hdfs 文件
/data/hadoop/bin/hadoop fs -cat /auto_pub.sh | more

[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -count /
21 17 218744425 /
文件 文件夹 大小

递归查询，并且显示大小
[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -ls -R -h /tmp

创建目录
[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -mkdir /abcd

把本地文件move到hdfs上
[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -moveFromLocal ~/abc.txt /

把hdfs文件move到本地
[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -moveToLocal /abc.txt ~/

把hdfs文件move到hdfs
[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -moveFromLocal ~/abc.txt /

把hdfs文件删除
[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -rm /abc.txt

把hdfs目录删除
[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -rm -r /abcd

查看hdfs 文件最后内容
[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -tail -f /megacli

创建hdfs 一个空文件
[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -touch /aaaa.txt

添加执行权限
[hadoop@namenode ~]$ /data/hadoop/bin/hadoop fs -chmod a+x /aaaa.txt

HDFS原理
1个client 需要读取数据，首先要和namenode联系，进行Metadata ops操作，获取元数据信息（metadata），
数据块是依次读取，不能同时读取，读一块，然后拼接。
机架感知： 客户端有选择，在那台机器上读取比较近，有数据就近原则。
数据块的复制，是水平复制。

Metadata 元数据
内存与硬盘都保存一份
NameNode(FileName,replicas,block-ids,id2host......)
/test/a.log, 3,{blk_1,blk_2},[{blk_1:[h0,h1,h3]},{blk_2:[h0,h2,h4]}]
副本复制3此， /test/a.log 分成2块， blk_1 在 h0,h1,h3上， blk_2在h0,h2,h4上

NameNode是整个文件系统的管理节点。
他维护着整个文件系统的文件目录树，
文件/目录的元信息和每个文件对应的
数据块列表，接收用户的操作请求

文件包括
1 fsimage 元数据镜像文件，
2. edits 操作日志文件
3. fstime 保存最后一次checkpoint的时间

NameNode的工作特点
1.NameNode始终在内存中保存metedata，用于处理 读请求。
2.到有“写请求”到来时，namenode会首先写edits到磁盘，即向edits文件中写日志，成功返回后，才会
修改内存，并且向客户端返回。
3. hadoop会维护一个fsimage文件，也就是namenode中的metedata镜像，但是fsimage不会随时与namenode
内存中的metedata保持一样，而是每隔一段时间通过合并edits文件来更新内容。
secondarynamenode 就是用来合并 fsimages和edits文件来更新 namenode的 metedata。

mapreduce 概述
mapreduce 是一种分布式计算模型，由google提出， 主要用于搜索领域，解决海量数据的计算问题

MR由两个阶段组成，map和reduce，用户只需要实现map() 和 reduce() 两个函数， 即可实现分布式计算，非常简单
这两个函数的形参是key、value对，表示函数的输入信息。

 

 

 

1. client 写好的worldcournt jar包提交给HDFS

2.nodemanager每隔一段时间就像RM发送心跳，帮自己的状态汇报给resourcemanager，领取任务。

3.resourcemanager的主要任务，是资源分配。

4.nodemanager从hdfs读取数据，reduce完成后 又把数据写会到hdfs中。

5.client通过RPC协议提交任务到resourcemanager，只提交任务的 描述信息。

6. nodemanager领取 resourcemanager任务的描述信息。

7.nodemanager到HDFS 领取jar包

8. 领到jar包，再启动一个进程，执行程序。