重新拿起hadoop
为了将多数据源整到hadoop上,将每个表导到hive上,再做大表join,变成一个越级大表,作为某一个搜索业务的数据源,然后再将建索引程序整成MR程序!
为此重新再学起hadoop。先分享一下几个好东西!
hadoop原理介绍
http://tech.uc.cn/wp-content/uploads/2012/07/Hadoop%E5%8E%9F%E7%90%86%E4%BB%8B%E7%BB%8D.pdf
前上司写的一键安装hadoop,hive,hbase
https://github.com/hadoop-deployer/hadoop-deployer