Hadoop MapReduce 运行步骤

步骤:
【使用java编译程序,生成.class文件】

【将.class文件打包为jar包】

【运行jar包(需要启动Hadoop)】

【查看结果】

具体实现:
1.添加程序所需要的依赖
vim ~/.bashrc
export HADOOP_HOME=/usr/local2/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
source ~/.bashrc
2.javac WordCount.java         (生成.class文件)
3.jar -cvf WordCount.jar ./WordCount*.class   (.class 文件打包成 jar,才能在 Hadoop 中运行)
4.运行程序:
hadoop jar WordCount.jar WordCount /user2/hive2/6.txt /soyo_output        (/user2/hive2/6.txt:输入文件,soyo_output:结果文件,文件都在HDFS上)
5.查看结果:

hdfs dfs -ls /

 

posted @ 2017-12-08 15:16  soyosuyang  阅读(337)  评论(0编辑  收藏  举报