摘要: HDFS的集群 集群的两大功能:负载均衡,高可用(失败迁移)(1)NameNode联盟(Federation) > HDFS(2)HA: HDFS、Yarn、HBase、Storm、Spark > 都需要ZooKeeper 阅读全文
posted @ 2020-03-23 14:57 JasonPeng1 阅读(309) 评论(0) 推荐(0) 编辑
摘要: 1.名称配额 (*)Hadoop分布式文件系统( HDFS )允许管理员为使用的名字(name)数量和用于各个目录的空间设置配额。名字配额和空间配额独立运行,但两种类型配额的管理和实施密切平行。 名称配额是对以该目录为根的树中文件和目录名称数量的硬限制。如果超过配额,创建文件和目录将会失败。配额与重 阅读全文
posted @ 2020-03-23 14:46 JasonPeng1 阅读(362) 评论(0) 推荐(0) 编辑
摘要: HDFS的安全模式 (*)安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。如果 HDFS 处于安全模式,则表示 HDFS 是只读状态。 (*)当集群启动的时候,会首先进入安全模式。当系统处于安全模式时会检查数据 块的完整性。假设我们设置的副本数(即参数 dfs.replicat 阅读全文
posted @ 2020-03-23 14:31 JasonPeng1 阅读(430) 评论(0) 推荐(0) 编辑
摘要: 快照 快照snapshots是HDFS文件系统的只读的基于某时间点的拷贝,可以针对某个目录,或者整个文件系统做快照。快照比较常见的应用场景是数据备份,以防一些用户错误或灾难恢复。 (*)默认:HDFS的快照是禁用的(*)第一步:管理员开启某个目录的快照功能[-allowSnapshot <snaps 阅读全文
posted @ 2020-03-23 10:08 JasonPeng1 阅读(557) 评论(0) 推荐(0) 编辑
摘要: 回收站 (*)默认,HDFS的回收站是关闭(*)启用回收站:参数 > core-site.xml添加fs.trash.interval来配置时间阀值,例如:(*)删除文件时,其实是放入回收站/trash(*)回收站里的文件可以快速恢复hdfs dfs -cp /user/root/.Trash/Cu 阅读全文
posted @ 2020-03-23 09:37 JasonPeng1 阅读(665) 评论(0) 推荐(0) 编辑
摘要: 上传过程 下载过程 阅读全文
posted @ 2020-03-23 08:49 JasonPeng1 阅读(518) 评论(0) 推荐(0) 编辑