2017年7月15日

CDH Namenode自动切换（active-standby）

摘要： 1. 先切换到hdfs 用户，做免密码登录 ssh -keygen -t rsa touch /var/lib/hadoop-hdfs/.ssh/authorized_keys chmod 755 /var/lib/hadoop-hdfs/.ssh/authorized_keys 把两台hdfs 用 阅读全文

posted @ 2017-07-15 14:15 Gcam 阅读(1635) 评论(0) 推荐(0) 编辑

MapReduce 2 中一些基础数据类型

摘要： 1. LongWritable, IntWritable, Text 均是 Hadoop 中实现的用于封装 Java 数据类型的类，这些类实现了WritableComparable接口，都能够被串行化从而便于在分布式环境中进行数据交换，以及进行大小比较。你可以将它们分别视为long,int,String 的替代品。2. Hadoop提供了如下内容的数据类型，这些数据类型都实现了WritableCo... 阅读全文

posted @ 2017-07-15 13:50 Gcam 阅读(481) 评论(0) 推荐(0) 编辑

mapreduce出现类似死锁情况

摘要： 1. mapreduce.job.reduce.slowstart.completedmaps: 在往hbase表里通过bulkload导数据时，某个mapreduce跑了一个多小时还没跑，看yarn界面，发现map还有一小部分没跑完，没跑完的map全在pending，running中没有，同时re 阅读全文

posted @ 2017-07-15 13:28 Gcam 阅读(373) 评论(0) 推荐(0) 编辑

导航