折腾hadoop安装系列

以前一直都是直接用hadoop系列的工具，现在“被迫”安装一遍所有的东西~

装的时候查阅了很多博客，部署过程非常不顺，总有各种问题，现在把一些要点记录一下~

首先我用了cdh3系列的hadoop套装

直接参考http://hi.baidu.com/dekar/blog/item/f5c034efcf080e5778f055a6.html 能够很容易的跑起hadoop zk hbase

实际上跑起这套东西基本上不足够使用， 因为hadoop平台很大功用是MR做统计分析，上面只能保证hdfs hbase的存储。

cdh3的Mapreduce用了lzo压缩， 直接跑wordcount还不能用，于是查阅了lzo的安装博客。

首先缺少hadoop-lzo，从其他机器拷贝了一下jar和lib，然后又是调用不到liblzo2.so，

由于没有权限安装liblzo2于是想碰碰运气把其他机器的拷过来指定一下LD_LIBRARY_PATH路径，结果失败。只能找运维编译。

完成以后 wordcount跑起~

多天之后又需要弄个hive和hbase的结合。hive的配置不多，貌似需要在bin/hive-config.sh中export个HADOOP_HOME的路径，

支持多用户使用得把元数据存储转到mysql，让运维装起mysql以后给了个超级账户，又是一顿折腾，

没想到自己创建的用户居然不能登录mysql，无奈hive配置直接改成那个超级账户...

（跑hive前还是先要检查一下账户是不是能按JDBC连接字符串的那样登录）

最后按照 bin/hive --auxpath 进入, show tables还报mysql的错， 查到mysql还得set global binlog_format='MIXED' 一下....

创建表没问题，跑例子，hive插hbase挂了....报RuntimeException: Error in configuring object错

于是先单测一下hbase的mapreduce任务... 晕 这个也没通，少hbase的jar包，

咋办，查资料，说是要配置hadoop_classpath， 重新修改配置加入hbase/conf hbase.jar zk.jar 分发

终于跑通.... hive插hbase依然报错，资料显示貌似少什么东西，于是根据cloudera的说明在hive shell下 add 那几个 jar ，终于不报错了

看来那个 --auxpath 没起效果啊....

 

其实Hadoop很多优化都没做，各种配置....现在看来似乎用到的都暂时解决了....搞不好过两天又要加个东西又需要一顿查阅...