重新拿起hadoop

为了将多数据源整到hadoop上,将每个表导到hive上,再做大表join,变成一个越级大表,作为某一个搜索业务的数据源,然后再将建索引程序整成MR程序!

 

为此重新再学起hadoop。先分享一下几个好东西!



hadoop原理介绍


http://tech.uc.cn/wp-content/uploads/2012/07/Hadoop%E5%8E%9F%E7%90%86%E4%BB%8B%E7%BB%8D.pdf


 前上司写的一键安装hadoop,hive,hbase


https://github.com/hadoop-deployer/hadoop-deployer




 

posted @ 2013-06-08 19:57  爱生活,爱编程  阅读(122)  评论(0编辑  收藏  举报