摘要:
一、fetch抓取 fetch 抓取是指,hive中对某些情况的查询可以不必使用MapReduce计算。(1)把hive.fetch.task.conversion 设置成none,然后执行查询语句,都会执行mapreduce程序。 hive(default)>set hive.fetch.task 阅读全文
摘要:
先写一个自己的MyRecordWriter类 extends RecordWriter 再写一个自己的outputFormat extends OutputFormat 最后再driver端 自定义自己的输出类 阅读全文
摘要:
hdfs数据到hbase过程 将HDFS上的文件中的数据导入到hbase中 实现上面的需求也有两种办法,一种是自定义mr,一种是使用hbase提供好的import工具 hbase先创建好表 create 'TB','info' 下面是实现代码: 阅读全文