摘要: 一、fetch抓取 fetch 抓取是指,hive中对某些情况的查询可以不必使用MapReduce计算。(1)把hive.fetch.task.conversion 设置成none,然后执行查询语句,都会执行mapreduce程序。 hive(default)>set hive.fetch.task 阅读全文
posted @ 2018-12-26 19:58 Z、某某 阅读(264) 评论(0) 推荐(0) 编辑
摘要: 先写一个自己的MyRecordWriter类 extends RecordWriter 再写一个自己的outputFormat extends OutputFormat 最后再driver端 自定义自己的输出类 阅读全文
posted @ 2018-12-26 19:23 Z、某某 阅读(800) 评论(0) 推荐(0) 编辑
摘要: hdfs数据到hbase过程 将HDFS上的文件中的数据导入到hbase中 实现上面的需求也有两种办法,一种是自定义mr,一种是使用hbase提供好的import工具 hbase先创建好表 create 'TB','info' 下面是实现代码: 阅读全文
posted @ 2018-12-26 19:15 Z、某某 阅读(1721) 评论(0) 推荐(0) 编辑