HDFS(一)--概述及shell操作
一、HDFS概述
1.1、HDFS产生背景
随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。
1.2、HDFS定义
HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。
1.3、HDFS优缺点
1.3.1、优点
1）高容错性
数据自动保存多个副本。它通过增加副本的形式，提高容错性。
某一个副本丢失以后，它可以自动恢复。
2）适合处理大数据
数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
文件规模：能够处理百万规模以上的文件数量，数量相当之大。
3）可构建在廉价机器上，通过多副本机制，提高可靠性。
1.3.2、缺点
1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
2）无法高效的对大量小文件进行存储。
（1）存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的；
（2）小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标
3）不支持并发写入、文件随机修改。
（1）一个文件只能有一个写，不允许多个线程同时写；
（2）仅支持数据append（追加），不支持文件的随机修改。
1.4、HDFS组成架构
1）NameNode（nn）：就是Master，它是一个主管、管理者。
（1）管理HDFS的名称空间；
（2）配置副本策略；
（3）管理数据块（Block）映射信息；
（4）处理客户端读写请求。
2）DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。
（1）存储实际的数据块；
（2）执行数据块的读/写操作。
3）Client：就是客户端。
（1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传；
（2）与NameNode交互，获取文件的位置信息；
（3）与DataNode交互，读取或者写入数据；
（4）Client提供一些命令来管理HDFS，比如NameNode格式化；
（5）Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作；
4）Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。
（1）辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode ；
（2）在紧急情况下，可辅助恢复NameNode。
1.5、HDFS文件块大小
HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。
（1）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；
（2）如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。
总结：HDFS块的大小设置主要取决于磁盘传输速率。
二、HDFS的Shell操作
2.1、基本语法
bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令
dfs是fs的实现类。
2.2、命令大全
[hadoop@hadoop102 hadoop-2.7.2]# bin/hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-count [-q] [-h] <path> ...] [-cp [-f] [-p | -p[topax]] <src> ... <dst>] [-createSnapshot <snapshotDir> [<snapshotName>]] [-deleteSnapshot <snapshotDir> <snapshotName>] [-df [-h] [<path> ...]] [-du [-s] [-h] <path> ...] [-expunge] [-find <path> ... <expression> ...] [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-getfacl [-R] <path>] [-getfattr [-R] {-n name | -d} [-e en] <path>] [-getmerge [-nl] <src> <localdst>] [-help [cmd ...]] [-ls [-d] [-h] [-R] [<path> ...]] [-mkdir [-p] <path> ...] [-moveFromLocal <localsrc> ... <dst>] [-moveToLocal <src> <localdst>] [-mv <src> ... <dst>] [-put [-f] [-p] [-l] <localsrc> ... <dst>] [-renameSnapshot <snapshotDir> <oldName> <newName>] [-rm [-f] [-r|-R] [-skipTrash] <src> ...] [-rmdir [--ignore-fail-on-non-empty] <dir> ...] [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]] [-setfattr {-n name [-v value] | -x name} <path>] [-setrep [-R] [-w] <rep> <path> ...] [-stat [format] <path> ...] [-tail [-f] <file>] [-test -[defsz] <path>] [-text [-ignoreCrc] <src> ...] [-touchz <path> ...] [-truncate [-w] <length> <path> ...] [-usage [cmd ...]] Generic options supported are -conf <configuration file> specify an application configuration file -D <property=value> use value for given property -fs <local|namenode:port> specify a namenode -jt <local|resourcemanager:port> specify a ResourceManager -files <comma separated list of files> specify comma separated files to be copied to the map reduce cluster -libjars <comma separated list of jars> specify comma separated jar files to include in the classpath. -archives <comma separated list of archives> specify comma separated archives to be unarchived on the compute machines. The general command line syntax is bin/hadoop command [genericOptions] [commandOptions]
2.3、常用命令
0）启动集群
[hadoop@hadoop102 hadoop-2.7.2]# sbin/start-dfs.sh [hadoop@hadoop103 hadoop-2.7.2]# sbin/start-yarn.sh
1）-help：输出这个命令参数
[hadoop@hadoop102 hadoop-2.7.2]# hadoop fs -help rm -rm [-f] [-r|-R] [-skipTrash] <src> ... : Delete all files that match the specified file pattern. Equivalent to the Unix command "rm <src>" -skipTrash option bypasses trash, if enabled, and immediately deletes <src> -f If the file does not exist, do not display a diagnostic message or modify the exit status to reflect an error. -[rR] Recursively deletes directories
2）-ls: 显示目录信息
[hadoop@hadoop102 hadoop-2.7.2]# hadoop fs -ls / Found 1 items drwxr-xr-x - hadoop supergroup 0 2021-01-18 14:06 /user #递归显示 [hadoop@hadoop102 hadoop-2.7.2]# hadoop fs -lsr / lsr: DEPRECATED: Please use 'ls -R' instead. drwxr-xr-x - hadoop supergroup 0 2021-01-18 14:06 /user drwxr-xr-x - hadoop supergroup 0 2021-01-18 14:06 /user/atguigu drwxr-xr-x - hadoop supergroup 0 2021-01-18 14:07 /user/atguigu/input -rw-r--r-- 3 hadoop supergroup 197657687 2021-01-18 14:07 /user/atguigu/input/hadoop-2.7.2.tar.gz -rw-r--r-- 3 hadoop supergroup 45 2021-01-18 14:07 /user/atguigu/input/wc.input
3）-mkdir：在HDFS上创建目录
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -mkdir -p /sanguo/shuguo [hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -ls / Found 2 items drwxr-xr-x - hadoop supergroup 0 2021-01-18 16:33 /sanguo drwxr-xr-x - hadoop supergroup 0 2021-01-18 14:06 /user
4）-moveFromLocal：从本地剪切粘贴到HDFS
[hadoop@hadoop102 hadoop-2.7.2]$ touch kongming.txt [hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo [hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -ls -R /sanguo drwxr-xr-x - hadoop supergroup 0 2021-01-18 16:35 /sanguo/shuguo -rw-r--r-- 3 hadoop supergroup 0 2021-01-18 16:35 /sanguo/shuguo/kongming.txt
5）-appendToFile：追加一个文件到已经存在的文件末尾
[hadoop@hadoop102 hadoop-2.7.2]$ echo "san gu mao lu" > liubei.txt
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -cat /sanguo/shuguo/kongming.txt
san gu mao lu6）-cat：显示文件内容
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -cat /sanguo/shuguo/kongming.txt
7）-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -chmod 666 /sanguo/shuguo/kongming.txt [hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -chown atguigu:atguigu /sanguo/shuguo/kongming.txt [hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -ls /sanguo/shuguo/kongming.txt -rw-rw-rw- 3 atguigu atguigu 14 2021-01-18 16:39 /sanguo/shuguo/kongming.txt
8）-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -copyFromLocal README.txt / [hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -ls / Found 3 items -rw-r--r-- 3 hadoop supergroup 1366 2021-01-18 16:42 /README.txt drwxr-xr-x - hadoop supergroup 0 2021-01-18 16:33 /sanguo drwxr-xr-x - hadoop supergroup 0 2021-01-18 14:06 /user
9）-copyToLocal：从HDFS拷贝到本地
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./
10）-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt [hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -ls / Found 4 items -rw-r--r-- 3 hadoop supergroup 1366 2021-01-18 16:42 /README.txt drwxr-xr-x - hadoop supergroup 0 2021-01-18 16:33 /sanguo drwxr-xr-x - hadoop supergroup 0 2021-01-18 14:06 /user -rw-r--r-- 3 hadoop supergroup 14 2021-01-18 16:47 /zhuge.txt
11）-mv：在HDFS目录中移动文件
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -mv /zhuge.txt /sanguo/shuguo/ [hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -ls /sanguo/shuguo/ Found 2 items -rw-rw-rw- 3 atguigu atguigu 14 2021-01-18 16:39 /sanguo/shuguo/kongming.txt -rw-r--r-- 3 hadoop supergroup 14 2021-01-18 16:47 /sanguo/shuguo/zhuge.txt
12）-get：等同于copyToLocal，就是从HDFS下载文件到本地
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -get /sanguo/shuguo/kongming.txt ./
13）-getmerge：合并下载多个文件，比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,...
[hadoop@hadoop102 hadoop-2.7.2]$ echo 123 > log.1
[hadoop@hadoop102 hadoop-2.7.2]$ echo 456 > log.2
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -mkdir -p /user/atguigu/test/
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -put ./log.1 /user/atguigu/test/
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -put ./log.2 /user/atguigu/test/
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt
[hadoop@hadoop102 hadoop-2.7.2]$ cat zaiyiqi.txt
123
45614）-put：等同于copyFromLocal
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -put ./zaiyiqi.txt /user/atguigu/test/
15）-tail：显示一个文件的末尾
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -tail /sanguo/shuguo/kongming.txt
16）-rm：删除文件或文件夹
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -rm /user/atguigu/test/log.1 21/01/18 16:55:21 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes. Deleted /user/atguigu/test/log.1
17）-rmdir：删除空目录
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -mkdir /test [hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -rmdir /test
18）-du统计文件夹的大小信息
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -du -s -h /user/atguigu/ 188.5 M /user/atguigu [hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -du -h /user/atguigu/ 188.5 M /user/atguigu/input 8 /user/atguigu/test
19）-setrep：设置HDFS中文件的副本数量
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt Replication 10 set: /sanguo/shuguo/kongming.txt
这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10
-------------------------------------------
个性签名：独学而无友，则孤陋而寡闻。做一个灵魂有趣的人！
