随笔分类 -  hadoop

hadoop 的HDFS 的 standby namenode无法启动事故处理
摘要：standby namenode无法启动 现象：线上使用的2.5.0 cdh5.3.2版本Hadoop，开启了了NameNode HA，HA采用QJM方式。hadoop的集群的namenode的standby节点宕掉，重启无法启动成功。 1. standby namenode出现异常时的现象 异常现 阅读全文
posted @ 2018-01-22 11:39 丹江湖畔养蜂子赵大爹 阅读(8764) 评论(0) 推荐(0) 编辑
使用hadoop-daemon.sh 启动bootstrapStandby nameNode异常
摘要：使用hadoop daemon.sh 启动bootstrapStandby　nameNode异常 启动bootstrapStandby　nameNode时，直接通过ssh 过去执行该命令，一直无法成功，使用的命令如下： 查看，namenode的.out启动日志发现如下现象： hadoop hadoo 阅读全文
posted @ 2018-01-12 17:39 丹江湖畔养蜂子赵大爹 阅读(3830) 评论(0) 推荐(0) 编辑
hadoop 2.7.3伪分布式安装
摘要：hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器，在测试，开发过程中还是很方便实用的，有必要将搭建伪分布式的过程记录下来，好记性不如烂笔头。 hadoop 2.7.3 JDK 1.8.91 到Apache的官网下载hadoop的二进制安装包。 cd /home 阅读全文
posted @ 2017-02-15 11:33 丹江湖畔养蜂子赵大爹 阅读(797) 评论(0) 推荐(0) 编辑
hadoop2.7.3配置文件中过时的属性
摘要：过时的属性：Deprecated Properties ===================== 该列表保存于：hadoop 2.7.3 src\hadoop common project\hadoop common\src\site\markdown 目录 下表列出了在这个版本的Hadoop过时 阅读全文
posted @ 2016-11-23 19:15 丹江湖畔养蜂子赵大爹 阅读(2789) 评论(1) 推荐(0) 编辑
hadoop修改MR的提交的代码程序的副本数
摘要：hadoop修改MR的提交的代码程序的副本数 Under Replicated Blocks的数量很多,有7万多个。hadoop fsck blocks 检查发现有很多replica missing。而且这些丢失的replica对应的文件都是mr的程序文件。 原因：MR,hive 的程序代码上传到h 阅读全文
posted @ 2016-11-14 15:12 丹江湖畔养蜂子赵大爹 阅读(869) 评论(0) 推荐(0) 编辑
Fair Scheduler 队列设置经验总结
摘要：Fair Scheduler 队列设置经验总结 由于公司的hadoop集群的计算资源不是很充足，需要开启yarn资源队列的资源抢占。在使用过程中，才明白资源抢占的一些特点。在这里总结一下。 只有一个队列的资源小于设置的 最小资源时，才有可能启动资源抢占。 只要所有的资源队列的最小资源之和小于等于集群 阅读全文
posted @ 2016-11-03 19:52 丹江湖畔养蜂子赵大爹 阅读(2196) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示