【Hadoop】HDFS笔记（三）：HDFS的Shell操作
HDFS处理文件的命令和Linux命令差不多，但注意区分大小写。
（Linux区分大小写，Windows不区分大小写）
一、fs命令
键入命令“./bin/hadoop fs”将输出能够支持的命令列表。
Usage: java FsShell
[-ls <path>]
[-lsr <path>]
[-df <path>]
[-du [-s] [-h] <path>]
[-dus <path>]
[-count [-q] <path>]
[-mv <src> <dst>]
[-cp <src> <dst>]
[-rm [-skipTrash] <path>]
[-rmr [-skipTrash] <path>]
[-expunge]
[-put <localsrc> … <dst>]
[-copyFromLocal <localsrc> … <dst>]
[-moveFromLocal <localsrc> … <dst>]
[-get [-ignoreCrc] [-crc] <src> <localdst>]
[-getmerge <src> <localdst> [addnl]]
[-cat <src>]
[-text <src>]
[-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
[-moveToLocal [-crc] <src> <localdst>]
[-mkdir <path>]
[-setrep [-R] [-w] <rep> <path/file>]
[-touchz <path>]
[-test –[ezd] <path>]
[-stat [format] <path>]
[-tail [-f] <file>]
[-chmod [-R] <MODE[, MODE] … | OCTALMODE> PATH…]
[-chown [-R] [OWNER] [: [GROUP]] PATH…]
[-chmod [-R] GROUP PATH…]
[-help [cmd]]
下面说说最主要的几个命令。
1. 创建文件夹
HDFS上的文件目录结构类似Linux，根目录使用/表示。下面的命令在/user/hadoop目录下建立input。
denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –mkdir /user/hadoop/input
denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –ls /user/hadoop
Found1 items
drwxr-xr-x - denny supergroup 0 2014-09-21 23:38 /user/hadoop/input
2. 上传文件test.txt到input下。
denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –put test.txt /user/hadoop/input
denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –ls /user/hadoop/input
Found1 items
-rw-r--r--1 denny supergroup 75 2014-09-21 23:45 /user/hadoop/input/test.txt
还可以用-copyFromLocal命令。
3.查看test.txt文件内容
denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –text /user/hadoop/input/test.txt
helloworld
helloworld…
还可以用-cat、-tail命令查看文件内容，但是对于压缩文件只能用-text参数查看，否则是乱码。
4.把test.txt文件复制到本地（下载，导出）
denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –get /user/hadoop/input/test.txt
还可以用-copyToLocal命令。
5.删除test.txt文件
denny@Ubuntu1:/opt/hadoop-1.0.3$ hadoop fs –rm /user/hadoop/input/test.txt
二、namenode命令
运行namenode进行格式化、升级、回滚等操作。
|
命令选项 |
功能描述 |
|
-format |
格式化NameNode，启动NameNode，格式化NameNode，之后关闭NameNode |
|
-upgrade |
分发新版本的Hadoop后，NameNode应以upgrade选项启动 |
|
-rollback |
将NameNode回滚到前一版本。此选项要在停止集群、分发Hadoop旧版本后使用 |
|
-finalize |
删除文件系统的前一状态。最近的升级会被持久化，rollback选项将再不可用升级终结操作之后，会停掉NameNode |
|
-importCheckPoint |
从检查点目录装在镜像并保存到当前检查点目录，检查点目录由fs.checkpoint.dir指定 |
（注：Hadoop集群第一次启动时一定要格式化NameNode，否则NameNode会报错）
三、job命令
|
命令选项 |
功能描述 |
|
-submit <job file> |
提交作业 |
|
-status <job-id> |
打印Map和Reduce完成百分比和所计数器 |
|
-counter <job-id> <group-name> <counter-name> |
打印计数器的值 |
|
-kill <job-id> |
杀死指定作业 |
|
-events <job-id> <from-event-#> <#-of-events> |
打印给定范围内的JobTracker接收到的事件细节 |
|
-history [all] <jobOutputDir> |
-history <jobOutputDir>用于打印作业细节，失败及被杀死原因细节。更多关于一个作业细节（如成功的任务、做过的任务尝试等信息）可以通过指定[all]选项查看 |
|
-list [all] |
显示所有作业。-list只显示将要完成的作业 |
|
-kill-task <task-id> |
杀死任务，被杀死的任务不会不利于失败尝试 |
|
-fail-task <task-id> |
使任务失败，被失败的任务会对失败尝试不利 |
四、fsck命令
显示块的信息，列出文件系统中各文件由那些块构成。用于和MapReduce作业交互和命令。
|
命令选项 |
描述信息 |
|
<path> |
检查起始的目录 |
|
-move |
移动受损文件到/lost+found |
|
-delete |
删除受损文件 |
|
openforwrite |
打印写打开的文件 |
|
-files |
打印正在被检查的文件 |
|
-blocks |
打印块信息报告 |
|
-locations |
打印每个块的位置信息 |
|
-racks |
打印datanode的网络拓扑结构 |
五、pipe命令
该命令用于运行pipe作业。
|
命令选项 |
描述信息 |
|
-conf <path> |
作业的配置 |
|
-jobconf <key=value>, <key=value>, … |
增加/覆盖作业的配置项 |
|
-input <path> |
输入目录 |
|
-output <path> |
输出目录 |
|
-jar<jar file> |
JAR文件名 |
|
-inputformat <class> |
InputFormat类 |
|
-map <class> |
Java Map类 |
|
-partitioner <class> |
Java Partitioner |
|
-reduce <class> |
Java Reduce类 |
|
-write <class> |
Java RecordWriter |
|
-program <executable> |
可执行程序的URI |
|
-reduces <num> |
Reduce个数 |
