macos解决Hadoop之Unable to load native-hadoop library

  很显然,native-hadoop library不支持macos,如果是Linux就不会有这个问题。在百度上搜了,要下载在macos上编译的native hadoop library,我在网上下载了native,但是没有用,还是报错,所以那个package应该只适用linux,网上搜macos的native,但是没有看,所以只有自己去编译hadoop。

  要安装maven,protobuf2.50,openssl等,其中参考了很多博客:https://www.jianshu.com/p/75f7d5d52bed,http://bigdatadecode.club/mac%E4%B8%8B%E7%BC%96%E8%AF%91Hadoop.html,https://www.jianshu.com/p/48856c4f3c3d

  在编译的过程中,报错Hadoop 2.7 Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7,后来看博客说jdk1.7可以,https://blog.csdn.net/promotelife/article/details/50898032,我的是jdk1.8,然后我下载了hadoop-2.8.5,然后就可以,https://blog.csdn.net/tterminator/article/details/51779689。其中还有一个debug技巧。

  这个过程真的很曲折,要多思考,发现问题所在,还有网上有很多资源可以用,真的很好。

 

posted @ 2019-02-22 22:12  懂得了才能做一些改变  阅读(676)  评论(0编辑  收藏  举报