HDFS shell命令行常用操作
1.hadoop fs -mkdir [-p] <path> path为待创建的目录,如果没有一个父目录就加一个-p
例:hadoop fs -mkdir /yuan 创建一个yuan的目录
2. hadoop fs -ls [-h] [-R] [path] path指定目录路径 -h人性化显示文件大小 -R递归查看指定目录及其子目录
3.hadoop fs -put [-f] [-p] <local><dst> ,-f覆盖目标文件(已存在),-p保留访问和修改时间,所有权和权限,local本地文件系统(操作的那台机器),dst目标文件系统(HDFS)
例:hadoop fs -put shenzi.txt /yuan表示把shenzi这个文件上传到根目录下的yuan中,hadoop fs -put file:///etc/profile hdfs://node1:8020/yuan表示把etc下的profile文件上传到hdfs的指定目录下
4. hadoop fs -cat ... 读取指定文件全部内容,显示在标准输出控制台。注意:对于大文件内容读取,慎重,在之前的Linux命令中说过cat只适合查看小文件内容
例:hadoop fs -cat /yuan/shenzi 表示查看根目录下的yuan中的shenzi文件
5. hadoop fs -get [-f] [-p] <src>...<localdst> 下载文件到本地文件系统指定目录,localdst必须是目录 -f表示覆盖目标文件(已存在下)-p表示保留访问和修改时间,所有权和权限
例:hadoop fs -get /yuan/shenzi ./
6. hadoop fs -cp [-f] ... -f表示覆盖目标文件(已存在下)
例:hadoop fs -cp /small/1.txt /itcast表示把small下的1.txt复制到目录itcast下
7. hadoop fs -appendToFile ... 将所有给定本地文件的内容追加到给定dst文件,若不存在dst文件,则创建该文件
例:echo 1 >> 1.txt
echo 2 >> 2.txt
echo 3 >> 3.txt
hadoop fs -put 1.txt /上传1.txt
hadoop fs -cat /1.txt cat查看文件,内容为1
hadoop fs -appendToFile 2.txt 3.txt /1.txt,将2.txt和3.txt的内容追加到1.txt中
hadoop fs -cat /1.txt cat查看文件,内容为1 2 3(分为三行)
8. hadoop fs -mv ... 移动文件到指定文件夹下,可以使用该命令移动数据,重命名文件的名称
例:hadoop fs -mv /yuan/shenzi /yuan/jiangjun把yuan下的shenzi文件移动到yuan下的jiangjun
hadoop fs -mv hdfs://node1:8020/yuan/shenzi hdfs://node1:8020/yuan/jiangjun hdfs://node1:8020/xinhai表示把hdfs中目录yuan下名为shenzi,jiangjun的文件移动到xinhai文件夹
本人也是初学者,上面介绍的只是一些入门常用的命令,想进一步学习shell命令的话可以去下面的这个官方命令文档看看
HDFS shell命令官方指导文档:https://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-common/FileSystemShell.html
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY