hadoop运行常见错误

1)“no job jar file set”原因

又是被折腾了一下午呀~~,“no job jar file set”就是找不到作业jar包的意思,然后就是提示找不到自定义的MyMapper类,一般原因是没有设置jar包的类,也就是在配置作业的时候,没有如下这行代码:

job.setJarByClass(MutiDoubleInputMatrixProduct.class)

but,最悲催的就是,我真的配置了这行代码呀,可还是报“no job jar file set”,忙活了一下午,终于找到了正确的解决方案,就是在作业的配置文件中添加如下一行代码:

job.setJarByClass(MutiDoubleInputMatrixProduct.class)

 

it works!

谢谢:

http://1992zhong.blog.51cto.com/3963309/1692399

 

原因分析在这里:

 

http://blog.csdn.net/andyelvis/article/details/7706205

 

2)”mkdirs failed to create file“,“org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:378)”

这是不能创建相应目录,原因是接受的路径不合法,例如本地调试的时候,输出路径为"/sOutput",在java工程中表示路径时,由字符串表示的路径开头是没有“/”的,在集群上运行的时候"/sOutput"才是正确的格式。

参考:http://www.cnblogs.com/yueliming/archive/2013/01/14/2860335.html

3)在使用IDEA等IDE单机调试MapReduce程序的时候,可能经常会提示“ClassNotFoundException”,也就是找不到类,一般就是没有把该类相关的jar引入到IDEA的classpath中

posted @ 2016-03-08 17:44  lz3018  阅读(708)  评论(0编辑  收藏  举报