摘要: 虽然通过api来操作hdfs的可能性不大,但在学习hdfs api时碰到这个问题就记录一下 1.在集群中生成keytab文件 我是直接在/var/run/cloudera-scm-agent/process/xxxx-DATANODE...这个目录下拿的hdfs.keytab文件,如果是普通hdfs 阅读全文
posted @ 2021-12-17 16:34 乐百事 阅读(485) 评论(0) 推荐(0) 编辑
摘要: hadoop3.x对比hadoop2.x新特性 以下只是我个人觉得关注度较高的几个新特性相关的介绍. 1. jdk 在Hadoop2时,可以使用JDK7,但是在Hadoop3中,最低版本要求是JDK8,所以低于JDK8的版本需要对JDK进行升级,方可安装使用Hadoop3 2. 引入纠删码(Eras 阅读全文
posted @ 2021-12-17 16:08 乐百事 阅读(390) 评论(0) 推荐(0) 编辑