2013年10月17日
摘要: 需求描述:从hdfs中获取数据,字段url需要计算出url_type 通过进行hive的left outer join ,效率非常低。故将url的类型导入到hbase中,利用hbase快速查询的特点,结合mapreduce进行字段打标。刚开始的mapreduce程序如下: 1 package com.bonc.db; 2 3 import java.io.IOException; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.apache.hadoop.fs.Path; 7 import org.a... 阅读全文
posted @ 2013-10-17 19:16 卡酷卡 阅读(368) 评论(0) 推荐(0) 编辑