随笔 - 13  文章 - 0 评论 - 3 阅读 - 14429
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

最近在编写MapReduce程序时遇到了一个错误,错误提示信息为:

Error: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration

断断续续解决了好几天都没有解决,最终发现是由于我的Mapper中的setup()方法引用了HBase库的缘故,也即引用了第三方Jar包。于是上网搜索“MapReduce如何调用第三方jar包”,最终参考网友的方法得到解决。三种解决方案如下:

  • 在你的java工程里建立一个lib文件夹,然后把所有引用到的第三方jar包放到里面,最后打包成Jar的时候把lib目录和class文件一块打包即可,hadoop会自动加载lib里面的jar

 

  • 还可以通过命令行配置实现,如:hadoop jar GIS.jar GIS.MapReduce.Test -libjars MapReduceLib/hbase-0.94.6.1.3.0.0-107-security.jar,zookeeper-3.4.5.1.3.0.0-107.jar

   参数“-libjars”的作用是上传本地jar包到HDFS中MapReduce临时目录并将其设置到map和reduce task的classpath中。

 

posted on   maybob  阅读(1462)  评论(0编辑  收藏  举报
努力加载评论中...
点击右上角即可分享
微信分享提示