随笔分类 -  HDFS

摘要:问题现象 使用cloudera-manager 新增了两台节点,并在上面部署了Datanode服务,服务部署成功后,并且也添加了Gateway,但是在新增的节点上使用HDFS的命令报错。 报错内容 Warning: fs.defaultFS is not set when running "ls" 阅读全文
posted @ 2021-04-19 13:26 彬在俊 阅读(573) 评论(0) 推荐(0) 编辑
摘要:HDFS缓存 集中式缓存管理,由Datanode堆外内存组成,Namenode统一管理 优点: 阻止频繁使用的数据从内存中删除 由于是Namenode统一管理,因此在读可以根据情况调度,提高读性能 客户端可以通过零拷贝技术直接读取缓存数据 提高集群内存利用率,读某个文件的时候会将 解决步骤 查看是否 阅读全文
posted @ 2021-04-13 18:29 彬在俊 阅读(369) 评论(0) 推荐(0) 编辑
摘要:一、事发背景 ​ 上个月的某一天,由于集群空间不足,公司有一位技术经理级别的大数据leader在通过跳板机在某个线上集群执行手动清理命令,疯狂地执行hadoop fs -rmr -skipTrash /user/hive/warehouse/xxxxx,突然,不知道是编辑器的问题还是换行问题,命令被 阅读全文
posted @ 2021-04-12 15:40 彬在俊 阅读(227) 评论(0) 推荐(0) 编辑
摘要:一、ACL权限 查看当前/文件夹的权限 hsdf dfs -getfacl / 为root用户在/文件夹下添加rwx权限 hdfs dfs -setfacl -m user:root:rwx / 为root组在文件夹/下添加rwx权限 hdfs dfs -setfacl -m group:root: 阅读全文
posted @ 2021-01-24 16:34 彬在俊 阅读(232) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示