HDFS shell命令行常用操作

1.hadoop fs -mkdir [-p] <path> path为待创建的目录,如果没有一个父目录就加一个-p

例:hadoop fs -mkdir /yuan 创建一个yuan的目录

2. hadoop fs -ls [-h] [-R] [path] path指定目录路径 -h人性化显示文件大小 -R递归查看指定目录及其子目录

3.hadoop fs -put [-f] [-p] <local><dst> ,-f覆盖目标文件(已存在),-p保留访问和修改时间,所有权和权限,local本地文件系统(操作的那台机器),dst目标文件系统(HDFS)

例:hadoop fs -put shenzi.txt /yuan表示把shenzi这个文件上传到根目录下的yuan中,hadoop fs -put file:///etc/profile hdfs://node1:8020/yuan表示把etc下的profile文件上传到hdfs的指定目录下

4. hadoop fs -cat ... 读取指定文件全部内容,显示在标准输出控制台。注意:对于大文件内容读取,慎重,在之前的Linux命令中说过cat只适合查看小文件内容

例:hadoop fs -cat /yuan/shenzi 表示查看根目录下的yuan中的shenzi文件

5. hadoop fs -get [-f] [-p] <src>...<localdst> 下载文件到本地文件系统指定目录,localdst必须是目录 -f表示覆盖目标文件(已存在下)-p表示保留访问和修改时间,所有权和权限

例:hadoop fs -get /yuan/shenzi ./

6. hadoop fs -cp [-f] ... -f表示覆盖目标文件(已存在下)

例:hadoop fs -cp /small/1.txt /itcast表示把small下的1.txt复制到目录itcast下

7. hadoop fs -appendToFile ... 将所有给定本地文件的内容追加到给定dst文件,若不存在dst文件,则创建该文件

例:echo 1 >> 1.txt

echo 2 >> 2.txt

echo 3 >> 3.txt

hadoop fs -put 1.txt /上传1.txt

hadoop fs -cat /1.txt cat查看文件,内容为1

hadoop fs -appendToFile 2.txt 3.txt /1.txt,将2.txt和3.txt的内容追加到1.txt中

hadoop fs -cat /1.txt cat查看文件,内容为1 2 3(分为三行)

8. hadoop fs -mv ... 移动文件到指定文件夹下,可以使用该命令移动数据,重命名文件的名称

例:hadoop fs -mv /yuan/shenzi /yuan/jiangjun把yuan下的shenzi文件移动到yuan下的jiangjun

hadoop fs -mv hdfs://node1:8020/yuan/shenzi hdfs://node1:8020/yuan/jiangjun hdfs://node1:8020/xinhai表示把hdfs中目录yuan下名为shenzi,jiangjun的文件移动到xinhai文件夹

本人也是初学者,上面介绍的只是一些入门常用的命令,想进一步学习shell命令的话可以去下面的这个官方命令文档看看

HDFS shell命令官方指导文档:https://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-common/FileSystemShell.html

posted @     阅读(98)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
点击右上角即可分享
微信分享提示