2012年4月11日

线上机器由于不同构导致的配置问题

摘要： 线上有16台测试scribe的机群，配置结束后，跑benchmark，没有问题。可是跑过一段时间后，发现很多job被pending住，报的错是：Error initializing attempt_201204030722_0004_m_000002_0: ENOENT: No such file or directory at org.apache.hadoop.io.nativeio.NativeIO.chmod(Native Method) at org.apache.hadoop.fs.FileUtil.execSetPermission(FileU... 阅读全文

posted @ 2012-04-11 18:08 萌@宇 阅读(248) 评论(0) 推荐(0) 编辑

hadoop mapreduce学习 Client部分

摘要： Mapreduce framework 同hdfs架构有类似的部分，分为JobTracker(对应Namenode)，TaskTracker（对应Datanode），Job（对应DFSClient)。功能虽然不太相同，但是原理还接近。 总结一下Job的流程。Job是对JobClient的封装，Job本身功能比较简单，无非是获得各种参数，将参数封装好，向JobTracker提交job的过程。但是JobClient内部还是有些流程的。 1、在提交Job时候，首先JobClient向JobTracker要求获得一个unique的ID，即JobID JobID jobId = jo... 阅读全文

posted @ 2012-04-11 14:58 萌@宇 阅读(740) 评论(0) 推荐(0) 编辑

导航