hadoop如何使用第三方依赖jar包(转载)

转载:https://blog.csdn.net/zhouyan8603/article/details/46976361

在hadoop环境下,我们经常会遇到执行一些脚本,然后却需要临时依赖一些jar包,比如在查看mahout运行结果的时候,如果用hadoop fs -text xxx就会遇到类似的错误信息:java.io.IOException: WritableName can't load class: org.apache.mahout.math.VectorWritable。意思就是当前环境下载classpath中没有对应的类,一般情况下可以如下解决:
1.直接用hadoop的libjars参数加载第三方jar
hadoop fs -libjars /opt/hadoop/mahout-distribution-0.9/mahout-examples-0.9.jar -text /user/mahout/popapp/temp/preparePreferenceMatrix/itemIDIndex/part-r-00000|more

posted @ 2019-07-17 10:33  梦玄庭  阅读(2280)  评论(0编辑  收藏  举报