ecplise + hadoop 调试环境搭建

1.需要安装包
  1.1  hadoop源码包(hadoop-2.5.2-src.tar.gz)
  1.2  hadoop 2X插件(hadoop2x-eclipse-plugin-master.zip)
  1.3  hadoop windows 工具(hadoop-common-2.2.0-bin-master.zip)
  1.4  ANT编译工具(apache-ant-1.9.6.tar.gz)

2.步骤(在此之前默认已经安装好jdk和eclipse 其中jdk在1.6版本或以上)
  2.1 安装ant和hadoop
	解压apache-ant-1.9.6.tar.gz和hadoop bin包(此处略过hadoop单机配置)
	配置环境变量
	ANT_HOME = D:\apache\apache-ant-1.9.6
	HADOOP_HOME = D:\apache\apache-hadoop-2.5.2
	在Path上加上;%ANT_HOME%\bin;%HADOOP_HOME%\bin  注意分号
	验证  cmd-> ant -v
	
  2.2 编译插件
	解压hadoop2x-eclipse-plugin-master.zip
	cmd -> cd hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录下
	
	修改hadoop2x-eclipse-plugin-master\ivy\libraries.properties文件中的
	hadoop.version=2.5.2

	如果是2.5.2版本的話注释build.xml掉以下行
	<copy file="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}.jar"  todir="${build.dir}/lib" verbose="true"/>

	运行  ant jar -Dversion=2.5.2 -Declipse.home=eclipse所在目录 -Dhadoop.home=hadoop所在目录(有可能编译不通过,注意挂vpn)

	运行成功后在adoop2x-eclipse-plugin-master\build目录下会得到一个jar包(将它拷贝到eclipse的plugins目录下) 重启eclipse
  2.3 配置插件
	打开Window-->Preferens,可以看到Hadoop Map/Reduc选项,然后点击,然后添加hadoop-2.5.2目录进来

	配置Map/ReduceLocations
		1)点击Window-->Show View -->MapReduce Tools  点击Map/ReduceLocation
		2)点击Map/ReduceLocation选项卡,点击右边小象图标,打开Hadoop Location配置窗口: 输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成hdfs-site.xml与core-site.xml的设置一致即可
	验证  DFS Locations 此时应该能显示出hadoop中的文件目录了。然后不能添加目录或者文件,注意看下hadoop的安全模式是否处于关闭状态、如果开启状态,将它关闭
	hadoop dfsadmin -safemode leave

  2.4 拷贝工具
	解压hadoop-common-2.2.0-bin-master.zip 将里面所有文件复制到hadoop目录的bin目录下  会替换一些文件
  2.5 用户权限
	将windows的登陆用户修改为hadoop虚拟机中的用户(同名即可,无需同密码)
  2.6 源码修改
	找到NativeIO这个类   注释掉 return access0这行  添加return true;   然后替换hadoop中的.class文件  在hadoop-common-2.5.2.jar文件中(windows中的)
	(又或者把这个类注意包结构拷贝到项目中,)  修改后运行即可
  2.7 添加日志
	在项目src目录下添加一个log4j.properties 内容如下:
		log4j.rootLogger=debug,stdout,R 
		log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
		log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
		log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n 
		log4j.appender.R=org.apache.log4j.RollingFileAppender 
		log4j.appender.R.File=mapreduce_test.log 
		log4j.appender.R.MaxFileSize=1MB 
		log4j.appender.R.MaxBackupIndex=1 
		log4j.appender.R.layout=org.apache.log4j.PatternLayout 
		log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n 
		log4j.logger.com.codefutures=DEBUG 

  经过以上步骤就可以不用在windows打jar再部署进行测试了。
	

  

posted @ 2016-04-11 20:36  ciade  阅读(539)  评论(0编辑  收藏  举报