随笔分类 - HDFS
摘要：用 hadoop namenode -fromat 格式化后，用./start-hbase.sh 启动HMaster和HRegionServer，但是过几秒种后HMaster进程自动关闭，HRegionServer进程没有关闭，查看日志报如下错： 是因为zookeeper中某些文件遗留的原因导致的呢
阅读全文
摘要：What is ACL Hadoop中的ACL与Linux中的ACL机制基本相同，都是用于为文件系统提供更精细化的权限控制。 参考 HDFS ACLs: Fine-Grained Permission for HDFS Files in Hadoop 开启ACLs 默认情况下ACLs是关闭的，想要开
阅读全文
摘要：1.1 超级用户 启动namenode服务的用户就是超级用户, 该用户的组是supergroup 启动namenode服务的用户就是超级用户, 该用户的组是supergroup 启动namenode服务的用户就是超级用户, 该用户的组是supergroup 1.2 文件权限管理 1.2.1 创建时的
阅读全文
摘要：本文旨在展示CDH基于Kerberos身份认证和基于Sentry的权限控制功能的测试示例。 1. 准备测试数据 1 2 3 4 5 6 cat /tmp/events.csv 10.1.2.3,US,android,createNote 10.200.88.99,FR,windows,updateN
阅读全文
摘要：Hadoop 解除 "Name node is in safe mode" 运行hadoop程序时，有时候会报以下错误：org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in
阅读全文
摘要：综述 HDFS实现了一个类似POSIX模型的文件和文件夹权限管理模型。每一个文件盒文件夹都有一个所有者和一个组。文件或者文件夹可以通过权限区分是所有者还是组成员或是其他用户。对文件来说，r标示可以阅读文件，w标示可以写入文件，对于文件夹来说，r标示可以阅读其下的内容，w可以创建或者删除文件或文件夹，
阅读全文
摘要：概述 HDFS快照是文件系统的只读时间点副本。 可以对文件系统的子树或整个文件系统进行快照。 快照的一些常见用例是数据备份，防止用户错误和灾难恢复。HDFS快照的实现是高效的： 快照创建是即时的：成本是O（1），不包括inode查找时间。 仅当对快照进行修改时才使用附加内存：内存使用为O（M），其中
阅读全文
摘要：参考文档：http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html Hadoop createSnapshot和deleteSnapshot命令,请戳一下链接： create
阅读全文
