2014年2月23日
摘要: 目的鉴于性能问题以及某些Java类库的缺失,对于某些组件,Hadoop提供了自己的本地实现。 这些组件保存在Hadoop的一个独立的动态链接的库里。这个库在*nix平台上叫libhadoop.so. 本文主要介绍本地库的使用方法以及如何构建本地库。组件Hadoop现在已经有以下compression codecs本地组件:zlibgziplzo在以上组件中,lzo和gzip压缩编解码器必须使用hadoop本地库才能运行。使用方法hadoop本地库的用法很简单:看一下支持的平台.下载预构建的32位i386架构的Linux本地hadoop库(可以在hadoop发行版的lib/native目录下找到 阅读全文
posted @ 2014-02-23 21:42 heidsoft 阅读(251) 评论(0) 推荐(0) 编辑
摘要: SSH 登录失败:Host key verification failed 由于公钥不一样了,所以无法登录,提示信息是 KEY 验证失败。解决方法是: 在 /root/.ssh/known_hosts 文件里面将原来的公钥信息删除即可。# rm -rf /root/.ssh/known_hosts 阅读全文
posted @ 2014-02-23 21:39 heidsoft 阅读(1730) 评论(0) 推荐(0) 编辑
摘要: 由于现在hadoop2.0还处于beta版本,在apache官方网站上发布的beta版本中只有编译好的32bit可用,如果你直接下载安装在64bit的linux系统的机器上,运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误,但在实际测试中是可以正常安装并可以运行自带的wordcont例子,所以这个错误不会导致hadoop2.1.0的安装和运行失败,此错误引起原因是由于 阅读全文
posted @ 2014-02-23 16:49 heidsoft 阅读(382) 评论(0) 推荐(0) 编辑
摘要: 由于现在hadoop2.0还处于beta版本,在apache官方网站上发布的beta版本中只有编译好的32bit可用,如果你直接下载安装在64bit的linux系统的机器上,运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误,但在实际测试中是可以正常安装并可以运行自带的wordcont例子,所以这个错误不会导致hadoop2.1.0的安装和运行失败,此错误引起原因是由于 阅读全文
posted @ 2014-02-23 16:47 heidsoft 阅读(537) 评论(0) 推荐(0) 编辑