windows eclipse 直接提交作业到hadoop总结

在配置过程中，遇到如下问题。。。

1，unhostexception ：需要把服务器上的主机名和ip地址与windows hosts文件中进行映射（即写入进去）
2，org.apache.hadoop.security.AccessControlException ：在conf/hdfs-site.xml
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
 
3，org.apache.hadoop.dfs.SafeModeException：bin/hadoop dfsadmin -safemode leave


用户可以通过dfsadmin -safemode value   来操作安全模式，参数value的说明如下：
enter - 进入安全模式
leave - 强制NameNode离开安全模式
get -   返回安全模式是否开启的信息


wait - 等待，一直到安全模式结束。  


4，在windows eclipse开发环境提交job到远处linux hadoop集群，运行mapred报错“IOException: Cannot run program "chmod": CreateProcess error=2”


原因：安装cygwin，而且需要设置"cygwin\bin"到环境变量PATH中


5、11/08/16 10:31:39 WARN mapred.LocalJobRunner: job_local_0001


java.lang.OutOfMemoryError: Java heap space






解决：所以，如果没有修改hadoop-env.sh中的HADOOP_HEAPSIZE值的话，就需要修改run configuration（右键要执行的程序，run as >run configurations）,弹出窗口中左侧选择要执行的程序，右边选择Arguments选项卡，在VM arguments栏中加入-Xmx1024m，保存后执行没有问题（即将执行时虚拟机内存调大）


以上是我在前两天尝试用windows直接提交到hadoop上的一些错误总结，大家共勉！











		

			posted on 
2012-11-13 22:08 
woyuchengxian 
阅读(268) 
评论(0) 
编辑 
收藏 
举报

		

	

	
	
	






    
    

    
    

    

        

    

        

            
                
                
            
        

    

        

            
                
            
        

    

    

    











	
		

导航