Hadoop作业提交多种方案具体流程详解

前言：
提交Hadoop作业时我们遇到了许多的问题，在网上也查过许多的文章，有许多对hadoop提交作业原理进行分析的文章，却总看不到对具体操作过程讲解的文章，导致我们在eclipse提交的作业总是在eclipse虚拟的云环境中运行。慢慢摸索中，一个一个的作业提交方法被我们发现，呵呵，现在总结一下吧。

相关阅读：

单机版搭建Hadoop环境图文教程详解   http://www.linuxidc.com/Linux/2012-02/53927.htm
方案：
1、用命令行方式提交
2、在eclipse中提交作业
3、采用eclipse的插件实现项目的提交
方案一：用命令行方式提交
前提：成功搭建一个Hadoop集群，或成功部署一个伪分布式，并启动hadoop。
提交过程：
1、在eclipse中将我们的项目打成一个jar包，放到Hadoop的安装目录下。
2、在命令行中提交作业，这里以Hadoop自带的wordcount程序为例：
（1）将统计文件传到hdfs，如图（1）

image

（2）向云提交作业，如图（2）

image

提交作业时，如果遇到错误：Name node in safe mode，可采用下面的解决方法，如图（3）

image

（3）列出hdfs上输出文件夹下的文件，如图（4）

image

（4）在命令行中打印统计好的结果，如图（5）

image

（注：在命令行中提交作业是按Hadoop/conf下的配置文件提交的）

方案二：在eclipse中提交作业 

前提：

1、在你的电脑上安装好eclipse，可以在linux下，也可以在windows环境下哦～，这里需要指出的是：提交作业的机器只要有Hadoop的API就可以了，和提交作业的机器所处的环境无关。

2、成功搭建一个Hadoop集群，或成功部署一个伪分布式，并启动hadoop。

提交过程：

1、在eclipse下建立一个mapreduce项目，导入Hadoop的API（hadoop/lib下的包）。

这里直接从外部导入Hadoop中自带的wordcount程序。为了可以直接“Run java Aplication”我修改了一点wordcount的代码，使其输入输出文件的地址直接在代码中设置。贴出代码如下： 

wordcount.java:

  1. package org.apache.Hadoop.examples;  
  2.  
  3. import java.io.IOException;  
  4. import java.util.StringTokenizer;  
  5. import org.apache.Hadoop.conf.Configuration;  
  6. import org.apache.Hadoop.fs.Path;  
  7. import org.apache.Hadoop.io.IntWritable;  
  8. import org.apache.Hadoop.io.Text;  
  9. import org.apache.Hadoop.mapreduce.Job;  
  10. import org.apache.Hadoop.mapreduce.Mapper;  
  11. import org.apache.Hadoop.mapreduce.Reducer;  
  12. import org.apache.Hadoop.mapreduce.lib.input.FileInputFormat;  
  13. import org.apache.Hadoop.mapreduce.lib.output.FileOutputFormat;  
  14.  
  15. public class WordCount {  
  16. //mapper类  
  17.   public static class TokenizerMapper   
  18.        extends Mapper<Object, Text, Text, IntWritable>{  
  19.       
  20.     private final static IntWritable one = new IntWritable(1);  
  21.     private Text word = new Text();  
  22.         
  23.     public void map(Object key, Text value, Context context  
  24.                     ) throws IOException, InterruptedException {  
  25.       StringTokenizer itr = new StringTokenizer(value.toString());  
  26.       while (itr.hasMoreTokens()) {  
  27.         word.set(itr.nextToken());  
  28.         context.write(word, one);  
  29.       }  
  30.     }  
  31.   }  
  32.     
  33. //reducer类  
  34.   public static class IntSumReducer   
  35.        extends Reducer<Text,IntWritable,Text,IntWritable> {  
  36.     private IntWritable result = new IntWritable();  
  37.  
  38.     public void reduce(Text key, Iterable<IntWritable> values,   
  39.                        Context context  
  40.                        ) throws IOException, InterruptedException {  
  41.       int sum = 0;  
  42.       for (IntWritable val : values) {  
  43.         sum += val.get();  
  44.       }  
  45.       result.set(sum);  
  46.       context.write(key, result);  
  47.     }  
  48.   }  
  49.    public static void main(String[] args) throws Exception {  
  50.     Configuration conf = new Configuration();  
  51.     
  52.     Job job = new Job(conf, "word count");  
  53.     job.setJarByClass(WordCount.class);  
  54.     job.setMapperClass(TokenizerMapper.class);  
  55.     job.setCombinerClass(IntSumReducer.class);  
  56.     job.setReducerClass(IntSumReducer.class);  
  57.     job.setOutputKeyClass(Text.class);  
  58.     job.setOutputValueClass(IntWritable.class);  
  59.     FileInputFormat.addInputPath(job, new Path("/home/Hadoop/testin"));  
  60.     FileOutputFormat.setOutputPath(job, new Path("/home/Hadoop/testout"));  
  61.       
  62.     System.exit(job.waitForCompletion(true) ? 0 : 1);  
  63.     
  64.      }  
  65. }  

如果此时你run java aplication,呵呵，你的程序只会在eclipse中虚拟的一个云环境中运行，而不会跑上云端去运行哦。我们一帮人在这个问题上纠结了好长时间。如果你想在云端运行，需要在main方法中添加几行代码，代码附录如下：

  1. //在你的文件地址前自动添加：hdfs://master:9000/
  2. conf.set("fs.default.name", "hdfs://master:9000/");  
  3. conf.set("Hadoop.job.user","xiaolu");    
  4. //指定jobtracker的ip和端口号，master在/etc/hosts中可以配置
  5. conf.set("mapred.job.tracker","master:9001"); 

（注：如果你运行的不是master上也有的项目，比如自己实现的pagerank，那会报错如下：）

  1. java.lang.RuntimeException: java.lang.ClassNotFoundException: *.PRMapper 

这时会报找不到Mapper类的错。呵呵，这个问题也卡了我们好长时间。我们分析：可能是没有将项目打包，导致云上没有mapreduce程序的缘故，我们尝试着将pagerank项目打成.jar文件，放在项目下，将main方法作出如下修改：

  1. //将Configuration类换成JobConf类
  2. JobConf conf = new JobConf();  
  3. //设置jar
  4. conf.setJar("pagerank.jar"); 

这时运行java aplication ,呵呵，结果我们成功地将作业提交到了云端。（在浏览器中浏览：master:50030）

方案三：采用eclipse的插件实现项目的提交
前提：在eclipse中成功地安装mapreduce插件。
不过需要提醒各位的是：Hadoop-0.20.203.0版本自带的插件不够完整，需要作出如下修改：
1、将Hadoop_HOME/lib目录下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.0.1.jar 和 jackson-mapper-asl-1.0.1.jar 等5个包复制到hadoop-eclipse-plugin-0.20.203.0.jar的lib目录下。

2、然后，修改该包META-INF目录下的MANIFEST.MF，将classpath修改为以下内容：

  1. Bundle-ClassPath: classes/,lib/Hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar 

（注：这样就完成了对Hadoop-eclipse-plugin-0.20.203.0.jar的修改。如果还有其它的问题，比如Map/Reduce Locations下添加一个Location不能弹出添加对话框，这是eclipse版本的问题，我建议大家采用eclipse的版本是：eclipse-java-indigo-SR1-linux-gtk.tar.gz。）
提交过程：
1、不用手动将项目打成jar包，run on Hadoop就OK了。呵呵~

来自：http://www.linuxidc.com/Linux/2012-02/54529p4.htm

 

转：http://blog.sina.com.cn/s/blog_6a67b5c501015bw3.html

posted @ 2013-03-20 17:19  悟寰轩-叶秋  阅读(256)  评论(0)  编辑  收藏  举报