*逍遥*

代码改变世界!!!

MR执行环境有两种

本地测试环境(windows):

在windows的hadoop目录bin目录有一个winutils.exe
1、在windows下配置hadoop的环境变量
2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin
3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
4、MR调用的代码需要改变:
a、src不能有服务器的hadoop配置文件
b、在调用是使用:
Configuration config = new Configuration();
config.set("fs.defaultFS", "hdfs://node7:8020");
config.set("yarn.resourcemanager.hostname", "node7");

服务器环境:

1)在本地直接调用,执行过程在服务器上(真正企业运行环境)

a、把MR程序打包(jar),直接放到本地
b、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
c、增加一个属性:config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");
d、hadoop配置文件hdfs-site.xml、 mapred-site.xml、 yarn-site.xml、 core.site-xml 放到src目录下
e、本地执行main方法调用MR。


2)、直接在服务器上,使用命令的方式调用,执行过程也在服务器上
a、把MR程序打包(jar),传送到服务器上
b、通过: hadoop jar jar路径 类的全限定名

posted on 2017-09-08 16:32  *逍遥*  阅读(299)  评论(0编辑  收藏  举报

导航