随笔 - 168  文章 - 0  评论 - 2  阅读 - 4385

假期总结第六周

这一周学习了一些关于hdfs的操作命令,这些命令大致被分为七大类,

1.帮助命令
一切命令都从帮助开始,命令是记不完的,只有学会使用帮助,才能免却记忆的痛苦。
hdfs dfs -help

2.查看命令
列出文件系统目录下的目录和文件
# -h 以更友好的方式列出,主要针对文件大小显示成相应单位K、M、G等
# -r 递归列出,类似于linux中的tree命令
hdfs dfs -ls [-h] [-r] <path>
查看文件内容
hdfs dfs -cat <hdfsfile>

查看文件末尾的1KB数据
hdfs dfs -tail [-f] <hdfsfile>

3.创建命令
新建目录
hdfs dfs -mkdir <path>

创建多级目录
hdfs dfs -mkdir -p <path>

新建一个空文件
# linux下是touchz,不知道为什么在hdfs要加个z?
hdfs dfs -touchz <filename>
上传本地文件到hdfs
# -f 如果hdfs上已经存在要上传的文件,则覆盖
hdfs dfs -put [-f] <local src> ... <hdfs dst>
举例:将/usr/local/hadoop-2.7.3/etc/hadoop下的所有配置文件都上传到hdfs的/hadoop目录

hdfs dfs -mkdir /config
hdfs dfs -put /usr/local/hadoop-2.7.3/etc/hadoop /config
4.删除命令
删除文件或目录,
# -r 递归删除目录下的所有文件
# -f为直接删除,不予提示
# -skipTrash为彻底放入文件,不放入回收站
hdfs dfs -rm [-r] [-f] [-skipTrash] <hdfs path>
5.获取命令
将hdfs文件下载到本地
hdfs dfs -get < hdfs path> < localpath>
举例:将hdfs的/config目录下载到本地的/config目录下
hdfs dfs -get /config /config

将hdfs文件合并起来下载到本地
hdfs hdfs -getmerge [-nl] <hdfs path> <localdst>
举例:将hdfs的/config/hadoop目录下的所有文件合并下载到本地的config.txt中
hdfs dfs -getmerge /config/hadoop config.txt

6.其他hdfs文件操作命令
拷贝:hdfs dfs -cp [-r] < hdfs path > < hdfs path1 >
移动:hdfs dfs -mv < hdfs path > < hdfs path1 >
统计目录下的对象数:hdfs dfs -count < hdfs path >
统计目录下的对象大小:hdfs dfs -du [-s] [-h] < hdfs path >
修改hdfs文件权限
修改所属组[-chgrp [-R] GROUP PATH...]
修改权限模式[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
修改所需组和所有者[-chown [-R] [OWNER][:[GROUP]] PATH...]
7.hdfs管理命令
显示帮助
hdfs dfsadmin -help

查看文件系统健康状态
显示hdfs的容量、数据块和数据节点的信息
hdfs dfsadmin -report

安全模式管理
安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。当hdfs进入安全模式时不允许客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹等操作。
当集群启动的时候,会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。假设我们设置的副本数(即参数dfs.replication)是5,那么在datanode上就应该有5个副本存在,假设只存在3个副本,那么比例就是3/5=0.6。通过配置dfs.safemode.threshold.pct定义最小的副本率,默认为0.999。

1)查看安全模式状态
hdfs dfsadmin -safemode get
2)强制进入安全模式
hdfs dfsadmin -safemode enter
3)强制离开安全模式
hdfs dfsadmin -safemode leave

 

通过以上的命令进行练习,逐步加深自己对hdfs的理解

posted on   付治齐吖  阅读(21)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· Ollama——大语言模型本地部署的极速利器
· 使用C#创建一个MCP客户端
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现
历史上的今天:
2021-08-06 《大道至简》读后感
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

点击右上角即可分享
微信分享提示