2015年12月20日

Mapreduce部署与第三方依赖包管理

摘要： Mapreduce部署是总会涉及到第三方包依赖问题，这些第三方包配置的方式不同，会对mapreduce的部署便捷性有一些影响，有时候还会导致脚本出错。本文介绍几种常用的配置方式:1. HADOOP_CLASSPATH 在hadoop的相关配置文件中，添加CLASSPATH路径，那么在hadoop... 阅读全文

posted @ 2015-12-20 23:03 步履不停 阅读(753) 评论(0) 推荐(0)

Eclipse调用hadoop2运行MR程序(转)

摘要： hadoop：hadoop2.2 ，windows myeclipse环境；Eclipse调用hadoop运行MR程序其实就是普通的java程序可以提交MR任务到集群执行而已。在Hadoop1中，只需指定jt（jobtracker）和fs（namenode）即可，一般如下：[java]view pl... 阅读全文

posted @ 2015-12-20 21:36 步履不停 阅读(888) 评论(0) 推荐(0)

Win7下无法提交MapReduce Job到集群环境（转）

摘要： 一.对hadoop eclipse plugin认识不足http://zy19982004.iteye.com/blog/2024467曾经说到我最hadoop eclipse plugin作用的认识。但事实上我犯了一个错误，Win7 Eclipse里的MyWordCount程序一直在本地运行，没有... 阅读全文

posted @ 2015-12-20 15:26 步履不停 阅读(275) 评论(0) 推荐(0)

Win7 Eclipse调试Centos Hadoop2.2-Mapreduce(转)

摘要： 一.自己搭建开发环境 今天自己搭建了一套Centos5.3 + Hadoop2.2 + Hbase0.96.1.1的开发环境，Win7 Eclipse调试MapReduce成功。可能是版本比较高的原因，出了问题，网上找不到完整解决方案，只能靠自己。二.Hadoop安装 这个就不啰嗦了，网上大把文章。... 阅读全文

posted @ 2015-12-20 15:22 步履不停 阅读(186) 评论(0) 推荐(0)

HDFS DATANODE 磁盘容量的最小值

摘要： HDFS的DATANODE的剩余空间具体要到多大？关于这个问题，下面记录下对这个问题的调查昨天，讨论群里面给出了一个异常：Java代码op@odbtestbin]$hadoopfs-put../tmp/file3/user/hadoop/in214/01/1502:14:09WARNhdfs.DFS... 阅读全文

posted @ 2015-12-20 12:14 步履不停 阅读(833) 评论(0) 推荐(0)

导航