hadoop运行案例
运行一个example
[hadoop@hadoop01 hadoop]$ hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 5 10
运行的过程中报错
然后去查看jobhistory
发现以下错误
Error: java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support
错误解析:不支持snappy格式的压缩
解决方法:
解决问题需要编译好的支持本格式的压缩的hadoop组件,但是我们的hadoop是从网上下载的,并没有这种组件,所以这种方法是行不通的。
但是我们可以通过对参数的配置的改变来解决这个问题
首先我们是跑mr报错,所以考虑配置更改是要考虑mapred-site.xml,打开以后把以下这段红框里的内容删掉就可以了
考虑完mr的配置文件,再考虑一下公共的文件配置,core-site.xml文件里边的配置也要看一下,以下是相关内容,红框里的内容也需要删掉
以上步骤都操作完了,再重新启动集群,重新跑一次,这时候就OK啦!!!开森!!!,
开森完继续思考一下
为什么要使用这个压缩格式呢?
因为可以减少map的磁盘io
我们通过hadoop checknative来查看当前我们的hadoop版本支持什么压缩格式。
可以发现红框里的几种压缩格式都是不支持的。